网络爬虫排除协议robots.txt介绍及写法详解.
2015-06-03 14:35
555 查看
Robots协议的全称是“网络爬虫排除标准”(Robots Exclusion Protocol),它的功能是通过Robots文件告诉搜索引擎哪些页面可以抓取,哪些页面不能抓取,抓取的标准等。它以一个文本文件的形式放在网站的根目录中,用任何一个常见的文本编辑器都可以对其进行修改和编辑。对于站长来说,合理的书写robots.txt文件可以更合理的利用搜索引擎,屏蔽掉一些低质量的页面,提高网站质量和对搜索引擎的友好度。
具体写法如下:
(*为通配符)
User-agent: * 代表的所有的搜索引擎种类,
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
User-agent: *
Disallow: /
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
User-agent: Baiduspider
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
转载地址:http://www.xgezhang.com/serach_engine_robots.html
具体写法如下:
(*为通配符)
User-agent: * 代表的所有的搜索引擎种类,
Disallow: /admin/ 这里定义是禁止爬寻admin目录下面的目录
Disallow: /require/ 这里定义是禁止爬寻require目录下面的目录
Disallow: /ABC/ 这里定义是禁止爬寻ABC目录下面的目录
Disallow: /cgi-bin/*.htm 禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
Disallow: /*?* 禁止访问网站中所有包含问号 (?) 的网址
Disallow: /.jpg$ 禁止抓取网页所有的.jpg格式的图片
Disallow:/ab/adc.html 禁止爬取ab文件夹下面的adc.html文件。
Allow: /cgi-bin/ 这里定义是允许爬寻cgi-bin目录下面的目录
Allow: /tmp 这里定义是允许爬寻tmp的整个目录
Allow: .htm$ 仅允许访问以”.htm”为后缀的URL。
Allow: .gif$ 允许抓取网页和gif格式图片
Sitemap: 网站地图 告诉爬虫这个页面是网站地图
比如:
例1.禁止所有搜索引擎访问所有页面:
User-agent: *
Disallow: /
比如淘宝网就是这样写的,显然它不愿意搜索引擎收录太多的内页。
如果是允许所有搜索引擎访问,则把Disallow改为allow,或者直接在根目录放置一个空的robots.txt文件
例2.允许百度蜘蛛访问所有页面
User-agent: Baiduspider
allow:/
例3.禁止所有搜索引擎访问某些特定目录下的网站:
User-agent: *
Disallow: /01/
Disallow: /02/
Disallow: /03/
例4.为网站添加google site-map,比如这里添加本站的sitemap,在文件后面加上
Sitemap:http://www.xgezhang.com/sitemap.xml
写完后可以用google robots.txt检测器检测下语法是否正确,或者用一些站长工具分析一下。
如果不想自己写,网上也有robots自动生成器,也还是不错。
转载地址:http://www.xgezhang.com/serach_engine_robots.html
相关文章推荐
- [Guzzle] PHP HTTP 客户端和框架
- Swift中的HTTP请求
- iOS应用架构谈 网络层设计方案
- 使用java检测网络连接状况
- 常见的Http Status Code
- HttpClient上传图片,下载文件
- VMware中CentOS网络设置
- 使用charles proxy for Mac来抓取手机App的网络包
- Starting httpd: (98)Address already in use: make_sock: could not bind to address [::]:80 (98)Address
- bzoj 2406: 矩阵 上下界网络流判定
- bzoj 2406: 矩阵 上下界网络流判定
- <meta http-equiv="X-UA-Compatible" content="IE=Edge">是神马鬼?
- 网络编程之shutdown() 与 close()函数详解
- 高性能、高并发TCP服务器(多线程调用libevent)
- Android的HttpURLConnection
- SIM(USIM)卡中的数据和2G/3G网络的鉴权
- 关于心跳网络引起的Oracle RAC的节点驱逐(不是实例驱逐)
- HTTP详解(3)-http1.0 和http1.1 区别
- HTTP详解(2)-请求、响应、缓存
- HTTP详解(1)-工作原理