您的位置:首页 > 编程语言 > Python开发

python爬虫之Scrapy 使用代理配置

2015-01-15 18:11 585 查看
http://www.pythontab.com/html/2014/pythonweb_0326/724.html

在爬取网站内容的时候,最常遇到的问题是:网站对IP有限制,会有防抓取功能,最好的办法就是IP轮换抓取(加代理)

下面来说一下Scrapy如何配置代理,进行抓取

1.在Scrapy工程下新建“middlewares.py”
2.在项目配置文件里(./pythontab/settings.py)添加

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: