Python爬虫案例2：获取抽屉网页所有的新闻标题并保存到csv

1、先建立爬虫项目

1）进入目标目录：cd 目标目录

2）建立项目：scrapy startproject 爬虫项目名称

3）进入爬虫项目目录，cd 爬虫项目所在的文件夹

4）建立爬虫：scrapy genspider 爬虫名称 网址

具体可参考豆瓣的爬虫博文。

2、编写爬虫程序

有五个注意和修改的地方：

1）编写spider程序，我的案例是spider的test.py的文件中

2）新建一个一个去重url的类duplication.py，并需要在settings.py中导入

3）修改items.py

4）修改pipeline.py，并需要在settings.py中导入

5）编写运行爬虫的程序，我的是runspider.py

6）对应的修改settings.py：导入去重类、pipline类、设置DEPTH_LIMIT

完整的项目目录如下：

1）爬虫文件test.py的程序，如下：主要是注意跳转下一页的用法。

2）新建duplication.py的程序，如下：

3）修改items.py的程序，如下：

4）修改pipelines.py的程序，比如写了两个pipline，一个保存到text文件，一个保存到csv中，如下：

text的pipline程序如下：

也可以保存在csv中，如下程序：

5）编写运行爬虫的程序，我的是runspider.py，如下：

6）对应的修改settings.py：导入去重类、pipline类、设置DEPTH_LIMIT

导入去重类：

pipeline类：

设置DEPTH_LIMIT：

7）执行出来的文件如下所示：