SEO高级培训班第二课.pdfVIP

SEO 高级培训班 第二课 robots 和sitemap 的使用 讲解：MOON ROBOTS 含义：Robots 是有哪些信誉好的足球投注网站引擎公共协议，所有有哪些信誉好的足球投注网站引擎都支持，一般robots.txt 文本是直接放在 根目录，我们可以利用robtos 文本对站点进行很多有用的操作，比如对站点的无内容页面进 行屏蔽。对论坛的垃圾链接导出板块进行屏蔽。 首先，我们要明确什么是robots.txt 文件？ 有哪些信誉好的足球投注网站引擎使用spider 程序自动访问互联网上的网页并获取网页信息。spider 在访问一个网站 时，会首先会检查该网站的根域 是否有一个叫做robots.txt 的纯文本文件。您可以在您的 网站中创建一个纯文本文件robots.txt ，在文件中声明该网站中不想被robot 访问的部分或者 指定有哪些信誉好的足球投注网站引擎只收录特定的部分。 这里提醒一 ，请注意：当你网站不希望有哪些信誉好的足球投注网站引擎全部收录时才用到robots.txt 文件 （比如 你网站后台页面）如果你希望有哪些信誉好的足球投注网站引擎全部收录你的网站，请建立一个空的robots.txt 文件。 1。首先告诉大家robots.txt 文件要放在你网站的根目录里面。当你修改了你的robots.txt 一 般会在48 小时内生效（对于有哪些信誉好的足球投注网站引擎来说）。 2 。如果你要禁止有哪些信誉好的足球投注网站引擎在有哪些信誉好的足球投注网站你网站时显示快照，而只对你的网站索引，什么办呢？ 百度支持通过设置网页的meta ，防止有哪些信誉好的足球投注网站引擎显示网站的快照。方法如 ： 要防止所有有哪些信誉好的足球投注网站引擎显示您网站的快照，请将此元标记置入网页的 HEAD 部分： meta name=robots content=noarchive 要允许其他有哪些信誉好的足球投注网站引擎显示快照，但仅防止百度显示，请使用以 标记： meta name=baiduspider content=noarchive 注：此标记只是禁止百度显示该网页的快照，百度会继续为网页建索引，并在有哪些信誉好的足球投注网站结果中显 示网页摘要。 3 。我们来看一 如何写robots.txt,他的格式是什么 的。 该文本是以 User-agent: 作为文本记录开头的。这个值有什么 呢？它是来描述有哪些信誉好的足球投注网站引擎 robots 的名字。比如说你要专指百度有哪些信誉好的足球投注网站引擎你就可以写为 User-agent: baiduspider 同 的谷歌就是 User-agent:googlespider 比如你要描述 SOSO 图片蜘蛛你可以写 User-agent:Sosoimagespider 这 都可以 如果你要针对所有有哪些信誉好的足球投注网站引擎呢 User-agent: * 就是所有有哪些信誉好的足球投注网站引擎全部概括了。 robots.txt 除了第一项 User-agent: 还有其他两项 Disallow: Allow: 但是User-agent: 是唯 一项 他后面可以加若干Disallow 和Allow 行 也就是这种格式 User-agent: * Disallow: Disallow: Disallow: Allow : Allow : Allow : 后面加多少个 Disallow 和 Allow 行都可以 是根据你需要来加的。好了我接着说 Disallow 该项就是告诉有哪些信誉好的足球投注网站引擎我不希望我网站的那些网页收录的。你就可以用 Disallow 的描述来 限制有哪些信誉好的足球投注网站引擎 我们来举个例子，比如我要限制所有有哪些信誉好的足球投注网站引擎不收录我的后台目录admin 那么我们什么做呢？来看一 User-agent: * Disallow:/admin/ 就可以了 如果是要显示百度不要收录我的这个目录其实有哪些信誉好的足球投注网站引擎可以什么做呢 前面我们 说到了 User-agent: baiduspider Disallow:/admin/ 你问如果是要禁止所有有哪些信誉好的足球投注网站引擎访问全站应该什么办呢？我们来看一 User-agent: * Disallow:/ 如果要禁止访问多个文件夹呢 比如我要禁止访问 Admin image data 3 个文件夹 User-agent: * Disallow:/Admin/ Disallow:/image/ Disallow:/data/ 这样就可以了 我们来解释一 Allow 行是做什么的？其实这个Allow 和Disallow 是相反的。Allow 他的意 思就是希望有哪些信誉好的足球投注网站引