python3 Scrapy爬虫框架ip代理配置的方法
2020-02-13 11:32
441 查看
什么是Scrapy?
Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架,非常出名,非常强悍。所谓的框架就是一个已经被集成了各种功能(高性能异步下载,队列,分布式,解析,持久化等)的具有很强通用性的项目模板。对于框架的学习,重点是要学习其框架的特性、各个功能的用法即可。
一、背景
在做爬虫项目的过程中遇到ip代理的问题,网上搜了一些,要么是用阿里云的ip代理,要么是搜一些网上现有的ip资源,然后配置在setting文件中。这两个方法都存在一些问题。
1、阿里云ip代理方法,网上大都是配置阿里云的ip代理的用户名、密码然后加密、解密。我按照上面的方面操作,发现阿里云上面的ip代理的参数里面没有用户名、密码相关的参数配置了。
2、至于网上查到的另外一种方法是在setting文件里面添加代理IP资源池,然后再在middlewares.py文件里面添加上一些代码来实现,但代理ip不一定是可用的。
二、改进方法
1、基于背景中提到的网上两种方法的局限性,我在此综合了两种方法。
2、改进方法:
1)利用阿里云的ip代理API生成50个代理IP资源池(用自己的阿里云账号登陆生成的,ip有效性得到保障)
2)直接在middlewares.py中添加如下函数,PROXIES为在阿里云上面生成的ip,此处涉及到个人隐私,故用****代替。
class my_proxy(object): def process_request(self, request, spider): PROXIES = ['http://****.****.****.****:8080'] ip = random.choice(PROXIES) request.meta['Proxy-Authorization'] = ip
注意:request.meta的方括号里面的关键字需要写对,不然无法正常运行。
总结
以上所述是小编给大家介绍的python3 Scrapy爬虫框架ip代理配置的方法,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对脚本之家网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
您可能感兴趣的文章:
- Python Scrapy框架第一个入门程序示例
- Python利用Scrapy框架爬取豆瓣电影示例
- python scrapy重复执行实现代码详解
- Python scrapy增量爬取实例及实现过程解析
- VirtualBox CentOS7.7.1908 Python3.8 搭建Scrapy开发环境【图文教程】
- python网络爬虫 Scrapy中selenium用法详解
- Python使用scrapy爬取阳光热线问政平台过程解析
- python scrapy爬虫代码及填坑
- 基于python框架Scrapy爬取自己的博客内容过程详解
- Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
- Python3环境安装Scrapy爬虫框架过程及常见错误
- 图文详解python安装Scrapy框架步骤
- 一步步教你用python的scrapy编写一个爬虫
- 详解python3 + Scrapy爬虫学习之创建项目
- 详解Python网络框架Django和Scrapy安装指南
- Scrapy框架爬取Boss直聘网Python职位信息的源码
- windows下搭建python scrapy爬虫框架步骤
- python爬虫库scrapy简单使用实例详解
相关文章推荐
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- 讲解Python的Scrapy爬虫框架使用代理进行采集的方法
- python爬虫之Scrapy 使用代理配置
- Python爬虫进阶三之Scrapy框架安装配置
- Scrapy爬虫:代理IP配置
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- 第三百四十八节,Python分布式爬虫打造搜索引擎Scrapy精讲—通过自定义中间件全局随机更换代理IP
- 零基础写python爬虫之爬虫框架Scrapy安装配置
- 【python爬虫】在scrapy中利用代理IP(爬取BOSS直聘网)
- Wiki——Windows下python2.7 爬虫框架Scrapy环境配置
- Python爬虫进阶一之爬虫框架Scrapy安装配置
- python爬虫之Scrapy 使用代理配置
- python爬虫之Scrapy 使用代理配置
- Python爬虫进阶三之Scrapy框架安装配置
- Python数据抓取爬虫代理防封IP方法
- windows7 32、64位下python爬虫框架scrapy环境的搭建方法
- 芝麻HTTP:Python爬虫进阶之Scrapy框架安装配置
- selenium+python设置爬虫代理IP的方法
- Python爬虫设置代理IP的方法(爬虫技巧)