您的位置:首页 > 其它

scrapy 爬虫之添加代理IP俩种方式

2019-01-18 16:07 204 查看

方式一:

一.重写start_request方法
def start_requests(self):中写入
yield scrapy.Request(url=url, meta={'proxy': 'http://117.90.2.212:9000'}, callback=self.parse)

方式二

二、在中间件中加入代理IP,在把中间的类名加入setting中。
1.在middlewares.py中增加一个类,取名:ProxyMiddleware即代理中间件:
2、在 def process_request(self, request, spider)方法中加入
request.meta["proxy"] = 'http://117.90.2.212:9000'

3、在setting中加入这个中间件的类
DOWNLOADER_MIDDLEWARES = {
'middlewares.ProxyMiddleware': 90,
}
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: