Scrapy框架相关使用说明(根据个人实际情况,当前以豆瓣电影网站为例)
1,Scrapy的安装配置
①,先安装将twisted文件放到E盘根目录下
#前提必须安装wheel模块,为了安装whl文件
②,E:—>pip install Twisted-18.4.0-cp36-cp36m-win_amd64.whl
③,pip install scrapy==1.5.0
2,在E盘创建Scrapy工程:
E: —> scrapy startproject doubanmovie —>
cd doubanmovie —>scrapy genspider moviespider douban.com
3,爬虫主程序的编写:
在Pycharm工具打开doubanmovie下级目录的doubanmovie
①,添加浏览器标识
将rotate_useragent文件放到doubanmovie文件夹下
②,在settings中的DOWNLOAD_MIDDLEWARES中添加配置信息
添加禁用框架自带的浏览器标识及设置浏览器标识
#禁用框架自带的浏览器标识
‘scrapy.contrib.downloadermiddleware.useragent.UserAgentMiddleware’: None,
#设置浏览器标识
‘doubanmovie.rotate_useragent.RotateUserAgentMiddleware’:400
②-①,编写settings,py,启动管道组件,ITEM_PIPELINES 以及其他相关设置
③,编写主程序
④,执行
scrapy crawl (spiders下文件,不包含后缀)
注意:设置浏览器标识时,第一个应为项目名
爬虫爬取数据流程(scrapy)
1,scrapy startproject XXXX
2,scrapy genspider XXXX “http://www.XXXX.com”
3,编写item.py,明确需要提取的数据
4,编写spiders/xxxx.py ,编写爬虫文件,处理请求和响应,以及提取数据(yield item )
5,编写pipelines.py , 编写管道文件,处理spider返回item,比如本地持久化存储等…
6,编写settings,py,启动管道组件,ITEM_PIPELINES 以及其他相关设置
7,执行爬虫
- 点赞
- 收藏
- 分享
- 文章举报
- P_010.~慢慢悠悠~使用Python的Scrapy框架成功爬取豆瓣电影的全部信息
- 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
- 使用scrapy 模拟登陆网站后 抓取会员中心相关信息
- 爬虫框架scrapy,爬取豆瓣电影top250
- 爬虫学习(三) Scrapy框架入门与豆瓣电影爬虫
- 在Scrapy项目【内外】使用scrapy shell命令抓取 某网站首页的初步情况
- windows 重装系统后必装的软件(根据个人使用情况整理,欢迎读者在评论推荐其他好用的软件)
- windows 重装系统后必装的软件(根据个人使用情况整理,欢迎读者在评论推荐其他好用的软件)
- 操作系统作业—— 请根据自己的实际情况选择一种语言的进程/线程同步工具进行学习,并尝试使用该工具实现睡觉的理发师问题的解决方案
- 使用express4.X + jade + mongoose + underscore搭建个人电影网站
- 网站对历史发布信息进行备份和查阅的相关管理制度及执行情况说明
- windows 重装系统后必装的软件(根据个人使用情况整理,欢迎读者在评论推荐其他好用的软件)
- 实践Python的爬虫框架Scrapy来抓取豆瓣电影TOP250
- windows 重装系统后必装的软件(根据个人使用情况整理,欢迎读者在评论推荐其他好用的软件)
- Scrapy框架使用微博CookiesPool时的相关设置
- 使用scrapy框架爬取豆瓣影评
- 使用scrapy框架爬取链家网站租房信息
- windows下使用python的scrapy爬虫框架,爬取个人博客文章内容信息
- Python 采用Scrapy爬虫框架爬取豆瓣电影top250
- 使用scrapy+mongodb爬取豆瓣电影TOP250