Scrapy 配置动态代理IP
2019-06-03 21:23
573 查看
Scrapy 配置动态代理IP
应用 Scrapy框架 ,配置动态IP处理反爬。
# settings 配置中间件 DOWNLOADER_MIDDLEWARES = { 'text.middlewares.TextDownloaderMiddleware': 543, # 'text.middlewares.RandomUserAgentMiddleware': 544, # 'text.middlewares.CheckUserAgentMiddleware': 545, 'text.middlewares.ProxyMiddleware': 546, 'text.middlewares.CheckProxyMiddleware': 547 } # settings 配置可用动态IP PROXIES = [ "http://101.231.104.82:80", "http://39.137.69.6:8080", "http://39.137.69.10:8080", "http://39.137.69.7:80", "http://39.137.77.66:8080", "http://117.191.11.102:80", "http://117.191.11.113:8080", "http://117.191.11.113:80", "http://120.210.219.103:8080", "http://120.210.219.104:80", "http://120.210.219.102:80", "http://119.41.236.180:8010", "http://117.191.11.80:8080" ]
# middlewares 配置中间件 import random class ProxyMiddleware(object): def process_request(self, request, spider): ip = random.choice(spider.settings.get('PROXIES')) print('测试IP:', ip) request.meta['proxy'] = ip class CheckProxyMiddleware(object): def process_response(self, request, response, spider): print('代理IP:', request.meta['proxy']) return response
相关文章推荐
- Scrapy爬虫:代理IP配置
- Scrapy的Ip代理的配置(未完成)
- scrapy使用代理ip的时候下载器中间件的配置文件设置
- Scrapy爬虫:代理IP配置
- Shell脚本实现动态配置IP与路由:解决嵌入式Android/Linux有线和无线网卡双网共存问题
- scrapy抓取免费代理IP
- python动态抓取代理IP
- scrapy 爬虫之添加代理IP俩种方式
- Python-Scrapy 个人兴趣教程(二):没错,从代理IP开始
- Scrapy学习篇(十二)之设置随机IP代理(IPProxy)
- ubuntu 静动态ip以及dns配置
- 动态代理的实现3-实现aop功能的封装和配置 .
- weblogic.xml详细配置说明,及动态IP无公网IP时发布80网站
- 多重网络环境下动态切换TCP/IP网络配置的批处理文件
- 批处理自动配置IP(静态IP)和批处理自动获取IP(动态IP):有线、无线均可使用此脚本
- 小项目-数据爬取篇:scrapy框架,手机网页,工作信息存入MongoDB,代理ip中间件
- Spring AOP:静态代理、动态代理和几种常见的aop配置
- 一个nignx 服务反向代理3个IP访问的配置方法
- 用scrapy获取代理ip地址
- 【Linux Is Not Unix】Centos7如何配置动态ip和静态ip