爬虫的技术选型
2018-01-23 13:43
232 查看
对于爬虫，我们的常见方案是Scrapy或者requests+beautifulsoup，但在此次课程中，我选择使用Scrapy,原因有以下几点。
①requests和beautifulsoup都是库，而Scrapy是框架
②Scrapy是框架中可以加入requests和beautifulsoup
③Scrapy基于twisted,性能是最大优势
④Scrapy方便扩张，提供了很多内置功能
⑤Scrapy内置的css和Xpath selector非常方便，beautifulsoup的最大缺点就是慢
以上内容是今日所学，具体细节后面慢慢学，边学边做边写博客记录
①requests和beautifulsoup都是库，而Scrapy是框架
②Scrapy是框架中可以加入requests和beautifulsoup
③Scrapy基于twisted,性能是最大优势
④Scrapy方便扩张，提供了很多内置功能
⑤Scrapy内置的css和Xpath selector非常方便，beautifulsoup的最大缺点就是慢
以上内容是今日所学，具体细节后面慢慢学，边学边做边写博客记录
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- 搜索引擎的设计与实现（二）技术选型--爬虫
- .net 爬虫框架技术选型
- 分布式网络爬虫架构－技术选型
- HTML5 VS. Flash&Flex? – 浅谈Flash/Flex/HTML 5技术选型
- 企业开发技术选型
- Java JSON技术框架选型与实例
- 爬虫技术-基于java
- 【无中生有】---1---技术选型
- 网站开发的技术选型问题
- 基于Hadoop 的分布式网络爬虫技术学习笔记
- IoT通讯技术选型及模型设计的思考
- 微服务技术栈选型，精彩
- 光源选型一(光源类型、照明技术及适用场合)
- python爬虫之反爬虫技术
- 爬虫技术
- 如何做项目技术选型
- 解密网络爬虫+舆情监控+天眼查数据+启信宝爬虫技术破解完整版
- Oozie和Azkaban的技术选型和对比
- 安卓项目架构与技术选型
- 初期技术选型的考虑