robots.txt文件的功能.docVIP

robots.txt文件的作用和语法介绍 1、什么是robots.txt文件 ???? 有哪些信誉好的足球投注网站引擎有自己的有哪些信誉好的足球投注网站习惯，当它对一个网站进行有哪些信誉好的足球投注网站时，哪些目录和文件要看，哪些不用看，它有自己的算法。我们也可以自己建立一个robots.txt文件，告诉有哪些信誉好的足球投注网站引擎的机器人哪些可以被收录，哪些不需要收录。这样可以节约自己网站的资源，提高被有哪些信誉好的足球投注网站引擎收录的效率。 ２、robots.txt放置位置 ??? robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。 ? ３、robots相关语法 ????1)User-agent: 适用下列规则的漫游器(有哪些信誉好的足球投注网站引擎) 　　该项的值用于描述有哪些信誉好的足球投注网站引擎robot的名字。在robots.txt文件中，如果有多条User-agent记录，就说明有多个robot会受到robots.txt的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则对任何robot均有效。 ????? ●　Google爬虫名称: Googlebot?????? ●　百度（Baidu）爬虫名称：Baiduspider?????? ●　雅虎（Yahoo）爬虫名称：Yahoo Slurp?????? ●　有道（Yodao）蜘蛛名称：YodaoBot?????? ●　搜狗（sogou）蜘蛛名称：sogou spider?????? ●　MSN的蜘蛛名称(微软必威体育精装版有哪些信誉好的足球投注网站引擎Bing蜘蛛名也是这个)：Msnbot ???? ??? ２）Disallow: 拒绝访问的目录或文件 　　该项的值用于描述不希望被访问的一组URL，这个值可以是一条完整的路径，也可以是路径的非空前缀，以Disallow项的值开头的URL不会被robot访问。 ???? 例如： ???????? Disallow:/seo.html?????? 表示禁止robot访问文件 /seo.html????? ??? ３）Allow:允许访问的目录或文件 ?????该项的值用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。 ????? 例如： ????????? ?Allow:/hibaidu/????? ?? 表示允许robot访问目录 /hibaidu/ ??? ???? 4)使用通配符*和$：??????　　 $?? 匹配行结束符。　　??????*? ?匹配0或多个任意字符。 ????????????? 匹配1个任意字符 ? ???? 5)robots.txt文件里还可以直接包括在sitemap文件的链接。 ????????Sitemap:/sitemap.xml 4、robots.txt文件用法举例 ???? 1)、拦截所有的机器人访问网站????????User-agent:?*????????Disallow:?/????? 2)、允许所有的机器人访问网站????????User-agent:?*????????Allow:?/? ???? 3)、禁止所有机器人访问特定目录：????????User-agent:?*????????Disallow:?/public/????????Disallow:?/images/????????Disallow:?/temp/????????Disallow:?/include/????? 4)、禁止特定有哪些信誉好的足球投注网站引擎蜘蛛访问特定目录(这里我们以百度蜘蛛为例说明)????????User-agent:?Baiduspider????????Disallow:?/test/????????? 上面的robots.txt语法示例的意思是禁止百度蜘蛛爬行根目录下的test目录???? 5)、仅禁止Baiduspider抓取.jpg格式图片???????User-agent:?Baiduspider????????Disallow:?.jpg$ 　　 6)、仅允许访问以.htm为后缀的URL。 ????? ?User-agent: * ?????? Allow: .htm$?????? Disallow: / ? 　　 7)、禁止访问网站中所有的动态页面?????? User-agent: *?????? Disallow: /*?* ? 5、常见robots.txt错误 　　 1)、把多个禁止命令放在一行中：　　?? 错误地写法　　?? Disallow: /css/ /cgi-bin/ /images/ 　　?? 正确的写法　　?? Disallow: /css/　　?? Disallow: /cgi-bin/　　?? D