Python使用scrapy采集数据时为每个请求随机分配user-agent的方法
2015-04-08 10:59
991 查看
本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下:
通过这个方法可以每次请求更换不同的user-agent,防止网站根据user-agent屏蔽scrapy的蜘蛛
首先将下面的代码添加到settings.py文件,替换默认的user-agent处理模块
'scraper.random_user_agent.RandomUserAgentMiddleware': 400,
'scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware': None,
}
自定义useragent处理模块
复制代码 代码如下: from scraper.settings import USER_AGENT_LIST
import random
from scrapy import log
class RandomUserAgentMiddleware(object):
def process_request(self, request, spider):
ua = random.choice(USER_AGENT_LIST)
if ua:
request.headers.setdefault('User-Agent', ua)
#log.msg('>>>> UA %s'%request.headers)
希望本文所述对大家的Python程序设计有所帮助。
您可能感兴趣的文章:
相关文章推荐
- scrapy采集数据时为每个请求随机分配user-agent
- scrapy在采集网页时使用随机user-agent的方法
- scrapy在爬取网页时使用随机user-agent方法
- Scrapy在采集网页时使用随机user-agent
- Python使用scrapy采集数据过程中放回下载过大页面的方法
- Python基于scrapy采集数据时使用代理服务器的方法
- Scrapy 增加随机请求头 user_agent
- Python使用scrapy采集时伪装成HTTP/1.1的方法
- scrapy随机更改User-Agent方法
- Scrapy增加随机请求头user_agent
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- python使用自定义user-agent抓取网页的方法
- Python中使用socket发送HTTP请求数据接收不完整问题解决方法
- Python中使用socket发送HTTP请求数据接收不完整问题解决方法
- Python爬虫从入门到放弃(二十三)之 Scrapy的中间件Downloader Middleware实现User-Agent随机切换
- 第三百四十七节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过downloadmiddleware中间件全局随机更换user-agent浏览器用户代理
- 在scrapy简单使用代理池和随机的User-Agent
- python scrapy 之 随机选择user-agent
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- python scrapy 网络采集使用代理的方法