怎样编写ROBOTS-TXT.docVIP

如何编写网站ROBOT.TXT文件，站长必读 2009年11月29日 星期日 11:28 在说明ROBOT.TXT文件的编写语法前先来了解几个重要的概念！ 1. 什么是baiduspider？ 　　baiduspider是Baidu有哪些信誉好的足球投注网站引擎的一个自动程序。它的作用是访问互联网上的html网页，建立索引数据库，使用户能在Baidu有哪些信誉好的足球投注网站引擎中有哪些信誉好的足球投注网站到贵网站的网页。　　　　　2. baiduspider为什么大量访问我的网页？ 　　baiduspider访问您的网页后，会自动分析每个网页上的文字内容并记忆网页网址，然后其它网友才能通过百度有哪些信誉好的足球投注网站引擎找到您的网页。如果baiduspider不访问您的网页，那么所有通过baiduspider提供网页信息的有哪些信誉好的足球投注网站引擎都找不到您的网页，也就是说，其它网友在百度搜狐新浪雅虎Tom等几十个有哪些信誉好的足球投注网站网站都会找不到您的网页。　　　您可以到这里进一步了解有哪些信誉好的足球投注网站引擎。　　　　3. baiduspider对一个网站服务器造成的访问压力如何？　　　　对于一个网站，baiduspider每访问一个网页会间隔30秒，不会造成过大压力。　　　　4. 我不想我的网站被baiduspider访问，我该怎么做？　　　　baiduspider象其它spider一样遵守互联网robots协议。您可以利用robots.txt文件完全禁止baiduspider访问您的网站，或者禁止baiduspider访问您网站上的部分文件。　　　　注意：禁止baiduspider访问您的网站，将使您的网站上的所有网页，在Baidu有哪些信誉好的足球投注网站引擎以及所有Baidu提供有哪些信誉好的足球投注网站引擎服务的有哪些信誉好的足球投注网站引擎中无法被有哪些信誉好的足球投注网站到，包括搜狐、新浪、雅虎、Tom、Lycos等几十个有哪些信誉好的足球投注网站引擎。　　　　关于robots.txt的写作方法，请参看我们的介绍：robots.txt写作方法　　　　5. 为什么我的网站已经加了robots.txt，还能在百度有哪些信誉好的足球投注网站出来？　　　　因为有哪些信誉好的足球投注网站引擎索引数据库的更新需要时间。虽然baiduspider已经停止访问您网站上的网页，但Baidu有哪些信誉好的足球投注网站引擎数据库中已经建立的网页索引信息，可能需要2到4周才会清除。　　　　6. baiduspider多长时间之后会重新抓取我的网页？　　　　Baidu有哪些信誉好的足球投注网站引擎平均两周更新一次，网页视重要性有不同的更新率，少则几天，多则1月，baiduspider会重新访问和更新一个网页。　　　　7. baidu蜘蛛在robots.txt中的名字是什么？　　　　baiduspider，全部为小写字母。完全禁止baiduspider访问的robots文件内容为：　　　　　　User-agent: baiduspider　　Disallow: / 　　　　　　robots.txt的语法 　　“robots.txt“文件包含一条或更多的记录，这些记录通过空行分开（以CR,CR/NL, or NL作为结束符），每一条记录的格式如下所示： 　　　　　　“field:optionalspacevalueoptionalspace“。 　　在该文件中可以使用#进行注解，具体使用方法和UNIX中的惯例一样。该文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow行,详细情况如下： 　　User-agent: 　　　　　　该项的值用于描述有哪些信誉好的足球投注网站引擎robot的名字，在“robots.txt“文件中，如果有多条User-agent记录说明有多个robot会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为*，则该协议对任何机器人均有效，在“robots.txt“文件中， “User-agent：*“这样的记录只能有一条。 　　Disallow : 　　　　　　该项的值用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow 开头的URL均不会被robot访问到。例如“Disallow: /help“对/help.html 和/help/index.html都不允许有哪些信誉好的足球投注网站引擎访问，而“Disallow: /help/“则允许robot访问/help.html，而不能访问/help/index.html。 　　　　任何一条Disallow记录为空，说明该网站的所有部分都允许被访问，在“/robots.txt“文件中，至少要有一条Disallow记录。如果 “/robots.txt“是一个空文件，则对于所有的有哪些信誉好的足球投注网站引擎robot，该网站都是开放的。 　　下面是一些robots.txt基本的用法： 　　l 禁止所有有哪些信誉好的足球投注网站引擎访问网站的任何部分： 　　User-age