Scrapy 爬取豆瓣电影存入mysql

1.新建项目 scrapy startproject boat

2. cd 进入 boat项目工程,创建爬虫 scrapy genspider -t basic doubanmovies douban.com

3.编写doubanmovies.py 爬虫文件

4.编写items.py



5.编写pipelines.py





6.编写settings.py





7.运行爬虫：scrapy crawl doubanmovies



如果使用的 是Python3.X请先安装 pymysql

项目中操作数据库如果想要使用mysqldb模块，直接在_init_.py中添加



即可使用。。。