豆瓣robots.txt分析

豆瓣的robots内容如下：

========================================================

User-agent: *

Disallow: /subject_search

Disallow: /amazon_search

Sitemap: http://www.douban.com/sitemap_index.xml
Sitemap: http://www.douban.com/sitemap_updated_index.xml
User-agent: Slurp

User-agent: Sosospider

Crawl-delay: 5

Visit-time: 0100-1300

Request-rate: 40/1m 0100 - 0759

Request-rate: 12/1m 0800 - 1300

========================================================

下面来解释下含义：

robots.txt文件中各项目的格式为: :

常用的field有Allow, Disallow, Request-rate, Visit-time, User-agent, Robot-version等.robots.txt文件中的注释以'#'开始.可以为独立的一行,也可以一行的后面部分.下面对每一个field,也叫directive进行一一介绍:

1. User-agent: The value of this field is the name of the robot the record is describing access policy for.

例子:User-agent: *

在这里*代表,any robot that has not matched any of the other records

2. Disallow: 指定不能访问我URL

例子: Disallow: /foo.html #foo.html不能访问

Disallow: #该目录下所有URL都可访问

Disallow: / #该目录下所有URL都不可以访问

3. Allow: 用来指定能访问的URL, 这个在当指定所有URL为不可访问,然后可以用这个排除特殊的一些. 这时候比较方便.

例子: Allow: / #允许访问所有URL

>>>> 一般的网站基本用到这些，下面用的就不多了，所以好多人看不懂，一般大型网站用的比较多，大家可以学习下。

4. Robot-version: 用来指定robot协议的版本号

例子: Robot-version: Version 2.0

5.Crawl-delay：雅虎YST一个特定的扩展名，可以通过它对我们的抓取程序设定一个较低的抓取请求频率。您可以加入Crawl-delay:xx指示，其中，“XX”是指在crawler程序两次进入站点时，以秒为单位的最低延时。

6. Visit-time:只有在visit-time指定的时间段里,robot才可以访问指定的URL,否则不可访问.

例子: Visit-time: 0100-1300 #允许在凌晨1:00到下午13:00访问

7. Request-rate: 用来限制URL的读取频率

例子: Request-rate: 40/1m 0100 - 0759 在1:00到07:59之间,以每分钟40次的频率进行访问

Request-rate: 12/1m 0800 - 1300 在8:00到13:00之间,以每分钟12次的频率进行访问

另外还有一点：robots.txt文件里还可以直接包括在sitemap文件的链接。就像这样：

Sitemap: http://czseo.9d88.com/sitemap.xml (此处请填写XML地图的绝对路径，即完整URL，如果按习惯填写Sitemap: /sitemap.xml，提交给Google网站管理员工具后会提示：检测到无效的 Sitemap 网址；语法错误。

XML地图必须在网站根目录下才有效。)

转自http://czseo.9d88.com/1025.html