Robots格式与作用.docVIP

Robots的格式和作用 来源 　首选，我们要认识的是什么是Robots，robots.txt是一种存放于网站根目录下的文本文件，用于告诉有哪些信誉好的足球投注网站引擎的爬虫(spider)，此网站中的哪些内容是不应被有哪些信誉好的足球投注网站引擎的索引，哪些是可以被索引。但是对于很多刚接触seo的站长们来说的话，对于Robots有哪些信誉好的足球投注网站引擎蜘蛛还是很不了解，不了解他是怎么使用的？下面我跟大家分享下有哪些信誉好的足球投注网站引擎robots详解：1.robots.txt文件的用途　　robots的主要作用是引导蜘蛛去爬行，抓取，不需要参与排名的东西可以用robots屏蔽掉，主要作用是引导和屏蔽。2.robots.txt文件放在哪里?　　robots.txt文件应该放置在网站根目录下。举例来说，当spider访问一个网站（比如）时，首先会检查该网站中是否存在/robots.txt这个文件，如果蜘蛛找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。　3.robots.txt文件的格式　　?User-agent:该项后面主要接的是蜘蛛的名字，比如百度蜘蛛是baiduspider、谷歌蜘蛛是googlebot、雅虎蜘蛛是Yahoo?slurp。如果后面接的是“*”,就代表所有蜘蛛都可以爬行?Disallow:这个代表的就是说不希望蜘蛛访问的路径。例如Disallow:/aa?Allow:这条是允许蜘蛛访问的内容。例如你用disallow禁止蜘蛛爬行一个文件夹，然后又希望这个文件夹的某个php文件被爬行，那么久可以用到allow。在添加网站地图的时候也经常用到allow，比如allow:/sitemap。　　?对于站长们，莆田seo建议大家只有了解了robots.txt的具体用途和相关性的规则。可以利用robots来巧妙的引导蜘蛛爬行，一个优秀的站长总是能很巧妙的利用robots，这样不仅便于有哪些信誉好的足球投注网站引擎的有哪些信誉好的足球投注网站。而且还对网站优化起了一个很大的帮助。　 转载请注明来源 ，跟大家分享seo学习知识