requests 和 scrapy 在不同的爬虫应用中,各自有什么优势?
2017-09-07 15:05
731 查看
equests 是一个http框架,可以用来做爬虫
scrapy 是一个专业的爬虫框架
我是个python新手,研究怎么爬人家网站,朋友推荐我学requests,果然看了下文档,几分钟就能开始爬了
但是我看scrapy 这个爬虫框架,被很多人喜欢,我想这个东西一定有他的独特之处,
我目前使用requests爬的时候,先用其他方法得到cookies,然后把cookies共享给requests,然后爬网站的时候,用起来算很得心应手,但是爬过来的数据,我要自己写逻辑代码,进行解析,进行编码处理,进行入库
或许就是因为它只是一个http库吧!
然后我在思考,scrapy是一个框架,是不是在爬虫应用中,会比requests更好用呢
我要爬的网站有40多个, 如果我改用scrapy框架,
能给我带来多大的好处呢
分别会从哪些方面给我带来好处呢
请知友帮忙解答疑惑
-------------------------------------
请大家帮忙邀请一些牛人 谢谢
https://www.zhihu.com/question/23324984
scrapy 是一个专业的爬虫框架
我是个python新手,研究怎么爬人家网站,朋友推荐我学requests,果然看了下文档,几分钟就能开始爬了
但是我看scrapy 这个爬虫框架,被很多人喜欢,我想这个东西一定有他的独特之处,
我目前使用requests爬的时候,先用其他方法得到cookies,然后把cookies共享给requests,然后爬网站的时候,用起来算很得心应手,但是爬过来的数据,我要自己写逻辑代码,进行解析,进行编码处理,进行入库
或许就是因为它只是一个http库吧!
然后我在思考,scrapy是一个框架,是不是在爬虫应用中,会比requests更好用呢
我要爬的网站有40多个, 如果我改用scrapy框架,
能给我带来多大的好处呢
分别会从哪些方面给我带来好处呢
请知友帮忙解答疑惑
-------------------------------------
请大家帮忙邀请一些牛人 谢谢
https://www.zhihu.com/question/23324984
相关文章推荐
- MySQL存储引擎通常有哪3种?各自分别有什么特点?应用场景是哪些?
- MySQL存储引擎通常有哪3种?各自分别有什么特点?应用场景是哪些?
- 百度百科、维基百科、互动百科他们各自有什么不同
- ZigBee和WiFi有什么区别 各自有什么优势
- Python爬虫-scrapy框架简单应用
- 业务、架构、技术,我们应该关注什么 Java和.Net的优势劣势简单看法 市场经济决定,商业之道即是软件之道,市场的需求决定着软件技术的发展 利益决定着选择应用新技术
- 【Python实战】Scrapy豌豆荚应用市场爬虫
- 互动翻书系统是什么?有什么优势和应用呢?
- 网络爬虫框架scrapy介绍及应用——抓取新浪新闻的标题内容评论
- 几种典型的 iOS 应用界面的交互框架各自的优缺点是什么?
- PHP、JSP、.NET各自的真正优势是什么
- 微信公众平台的订阅号和服务号有什么不同?各自有什么优缺点?
- MySQL存储引擎通常有哪3种?各自分别有什么特点?应用场景是哪些?
- MySQL存储引擎通常有哪3种?各自分别有什么特点?应用场景是哪些?
- iOS动画库Pop和Canvas各自的优势和劣势是什么?
- scrapy爬虫框架安装与应用(包括post请求、递归访问http)
- java框架组合ssm和ssh各自的优势是什么?
- android studio gradle有什么优势,怎么构建android应用,什么是gradle
- 几种典型的 iOS 应用界面的交互框架各自的优缺点是什么?
- Python爬虫知识(1)——scrapy vs requests+BeautifulSoup