搜索引擎爬虫蜘蛛的User-Agent收集
2014-03-19 15:05
375 查看
百度爬虫
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider/;)
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm)
<div arial"="" style="margin: 0px; padding: 0px; font-size: 1.1em;">作者:Sunny Peng
出处:http://www.cnblogs.com/psunny/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
* Baiduspider+(+http://www.baidu.com/search/spider.htm”)
google爬虫
* Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
* Googlebot/2.1 (+http://www.googlebot.com/bot.html)
* Googlebot/2.1 (+http://www.google.com/bot.html)
雅虎爬虫(分别是雅虎中国和美国总部的爬虫)
*Mozilla/5.0 (compatible; Yahoo! Slurp China; http://misc.yahoo.com.cn/help.html)
*Mozilla/5.0 (compatible; Yahoo! Slurp; http://help.yahoo.com/help/us/ysearch/slurp)
新浪爱问爬虫
*iaskspider/2.0(+http://iask.com/help/help_index.html”)
*Mozilla/5.0 (compatible; iaskspider/1.0; MSIE 6.0)
搜狗爬虫
*Sogou web spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
*Sogou Push Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07)
网易爬虫
*Mozilla/5.0 (compatible; YodaoBot/1.0;http://www.yodao.com/help/webmaster/spider/;)
MSN爬虫
*msnbot/1.0 (+http://search.msn.com/msnbot.htm)
<div arial"="" style="margin: 0px; padding: 0px; font-size: 1.1em;">作者:Sunny Peng
出处:http://www.cnblogs.com/psunny/
本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,否则保留追究法律责任的权利。
相关文章推荐
- 搜索引擎爬虫蜘蛛的User-Agent收集
- 搜索引擎爬虫蜘蛛的User-Agent收集
- 搜索引擎爬虫蜘蛛的User-Agent
- 搜索引擎爬虫蜘蛛的USERAGENT收集(转)
- 第三百四十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过downloadmiddleware中间件全局随机更换user-agent浏览器用户代理
- 搜索引擎爬虫蜘蛛的UserAgent收集
- PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT
- 搜索引擎爬虫蜘蛛的UserAgent收集
- PHP屏蔽蜘蛛访问代码及常用搜索引擎的HTTP_USER_AGENT
- 爬虫---User-Agent
- Apache2.4使用require指令进行访问控制--允许或限制IP访问/通过User-Agent禁止不友好网络爬虫
- 收集几个移动平台浏览器的User-Agent
- 新浪博客robot.txt中写的搜索引擎User-Agent代码对照表
- Python之亚马逊反爬虫User-Agent和IP
- python爬虫-常用的User-Agent列表
- 如何准确判断请求是搜索引擎爬虫(蜘蛛)发出的请求
- Python 爬虫一些常用的UA(user-agent)
- Apache2.4使用require指令进行访问控制--允许或限制IP访问/通过User-Agent禁止不友好网络爬虫
- 修改User-Agent伪造爬虫
- Nginx屏蔽个别User-Agent蜘蛛访问网站的方法