您的位置:首页 > 产品设计 > UI/UE

requests 和 scrapy 在不同的爬虫应用中,各自有什么优势?

2017-09-07 15:05 731 查看
equests 是一个http框架,可以用来做爬虫

scrapy 是一个专业的爬虫框架

我是个python新手,研究怎么爬人家网站,朋友推荐我学requests,果然看了下文档,几分钟就能开始爬了

但是我看scrapy 这个爬虫框架,被很多人喜欢,我想这个东西一定有他的独特之处,

我目前使用requests爬的时候,先用其他方法得到cookies,然后把cookies共享给requests,然后爬网站的时候,用起来算很得心应手,但是爬过来的数据,我要自己写逻辑代码,进行解析,进行编码处理,进行入库

或许就是因为它只是一个http库吧!

然后我在思考,scrapy是一个框架,是不是在爬虫应用中,会比requests更好用呢

我要爬的网站有40多个, 如果我改用scrapy框架,

能给我带来多大的好处呢

分别会从哪些方面给我带来好处呢

请知友帮忙解答疑惑

-------------------------------------

请大家帮忙邀请一些牛人 谢谢

https://www.zhihu.com/question/23324984
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐