提高爬虫效率的方法
2020-10-13 16:46
393 查看
一. 关于爬虫
爬虫,是一种按照一定的规则自动地抓取互联网信息的程序。本质是利用程序获取对我们有利的数据。
反爬虫,从不是将爬虫完全杜绝;而是想办法将爬虫的访问量限制在一个可接纳的范围,不要让它过于频繁。
二.提高爬虫效率的方法
协程。采用协程,让多个爬虫一起工作,可以大幅度提高效率。
多进程。使用CPU的多个核,使用几个核就能提高几倍。
多线程。将任务分成多个,并发(交替)的执行。
分布式爬虫。让多个设备去跑同一个项目,效率也能大幅提升。
打包技术。可以将python文件打包成可执行的exe文件,让其在后台执行即可。
其他。比如,使用网速好的网络等等。
三. 反爬虫的措施
限制请求头,即request header。解决方法:我们可以填写user-agent声明自己的身份,有时还要去填写origin和referer声明请求的来源。
限制登录,即不登录就不能访问。解决方法:我们可以使用cookies和session的知识去模拟登录。
复杂的交互,比如设置“验证码”来阻拦登录。这就比较难做,解决方法1:我们用Selenium去手动输入验证码;方法2:我们用一些图像处理的库自动识别验证码(tesserocr/pytesserart/pillow)。
ip限制。如果这个IP地址,爬取网站频次太高,那么服务器就会暂时封掉来自这个IP地址的请求。 解决方法:使用time.sleep()来对爬虫的速度进行限制,建立IP代理池或者使用IPIDEA避免IP被封禁。
相关文章推荐
- 【强化学习】IBM苏中:怎样利用深度学习、增强学习等方法提高信息处理效率
- 提高iOS开发效率的方法和工具
- 提高 Web Service 数据传输效率的基本方法
- 一些能提高MAC用户效率的方法
- 提高oracle MVLOG的处理效率的方法分享
- 优化php效率,提高php性能的一些方法
- 优化php效率,提高php性能的一些方法
- PHP编程效率53个提高方法
- PHP提高编程效率的方法
- 提高IIS网站服务器的效率的八种方法 (转载)
- 单片机提高C语言代码效率的方法
- 提高IOCP 效率的一些方法,技巧 (来自WINDOWS 网络编程第二版)
- 提高工作效率的时间管理方法
- 提高Oracle查询效率的方法总结
- PHP提高编程效率的方法
- 五种WordPress防止垃圾评论方法-过滤垃圾评论提高WP运行效率
- 提高效率的一点方法 [ 光影人像 东海陈光剑 的博客 ]
- ABAP--两个提高ABAP代码效率的优化方法
- [转]提高 Web Service 数据传输效率的基本方法
- 提高C++程序执行效率的几点方法