scrapy笔记(2) - 小试牛刀 (抓取豆瓣推理小说信息)

1. 事前准备:

阅读scrapy官方文档至少一次
了解scrapy的基本命令及弄懂scrapy文档中例子的项目结构等基本信息

下文将假设大家已经有了以上准备， 对一些细节不会详细阐述， 如有不懂可以先翻翻文档或留言询问
下载本例子源码(文章末尾)

2. 豆瓣页面分析

我们准备'下手'的是豆瓣推理小说的数据，截图如下



小说数据

目前(2015-4-16)豆瓣共有629页的推理小说， 每页有15本书，一共9000多本书

我们来用chrome审查元素功能看看



审查元素

scrapy爬取的是html网页源代码，审查元素看的是经过js处理后的页面，有些html页是由js输出的，有些会与html网页源代码不一样，这里豆瓣的书籍信息不是经过js输出的，所以可以放心这样干

稍加分析，并可以知道这些书都放在一个class='mod book-list'的div内，在这个div内分别用dl, dt这样的标签装载书籍的信息， 在写爬虫的时候我们可以直接用xpath,或css取出这些信息的标签.

3.开始写爬虫

首先执行两个命令

scrapy startproject db_spider

在创建的目录下,即xxx/db_pisder/下执行

scrapy genspider -t crawl douban douban.com

现在的项目目录结构如下图所示



项目目录

关于scrapy的这几个文件是什么意思我就不详细介绍了，相信看过文档的人应该也有所了解。

接下来我们在items.py里定义我们的数据对象



items项

要抓取的东西如图所示，按照从上到下，从左到右分别在items.py里定义为如下字段



items.png

接下来， 我们要在spiders/douban.py写关于爬虫的东西



DoubanSpider

这些配置的意思是，从http://www.douban.com/tag/推理/book?start=0 这个页面开始， 遇到域名为douban.com且符合'start=\d+$'的链接则调用parse_item解析页面并跟进这个链接查找是否有符合规则的链接。

接下来我们要写parse_item函数,在分析页面的时候，我们已经确定要爬取哪些信息。现在在parse_item里写的就是从页面里获取这些信息， 并存在items中。

我们可以先在db_spider目录下执行

scrapy shell http://www.douban.com/tag/推理/book?start=0[/code] 
会得到一个用于调试的命令行， 如下所示:



scrapy shell url

我们可以用
view(response)
在浏览器中打开这个链接，这个链接看到的页面就是爬虫看到的页面了，之前说过了，用js输出的页面跟爬虫看到的页面有时会不一样，在爬取时可能看不到我们要的信息，在爬复杂的网站时要注意。

然后我们可以在这个命令行内，对response进行xpath,css操作得到标签，比如说我们要得到小说数据图中的白夜叉这个书名,我们可以根据chrome的审查元素右键的copy xpath或copy css path功能得到标签的路径



copy xpath.png

我们得到的路径可能是这样的:



XPath

构造了一个之后，其它就简单了， 这里直接给出所有项的代码， 如果觉得xpath和css有困难的话，建议再看一下scrapy文档里的例子及xpath和css的文档。

def parse_item(self, response):
items = []
book_list = response.css('div.mod.book-list dl')
for book in book_list:
item = DbSpiderItem()
try:
item['book_name'] = book.xpath('dd/a/text()').extract()[0]
item['book_star'] = book.xpath('dd/div[1]/span[1]/@class').extract()[0][7:]
item['book_rating'] = book.xpath('dd/div[1]/span[2]/text()').extract()[0]
item['book_eval'] = book.xpath('dd/div[1]/span[3]/text()').extract()[0]
desc = book.xpath('dd/div[2]/text()').extract()[0].strip().split('/')
item['book_price'] = desc.pop()
item['book_publish_date'] = desc.pop()
item['book_publish'] = desc.pop()
item['book_author'] = '/'.join(desc)
except:
pass
items.append(item)
return items

这里注意一下代码里的try,except块, 这是为了豆瓣的书数据的特殊处理，因为豆瓣书的数据格式并不是全部都一致，有那么几本没有出版社或者没有出版日期，甚至没有评分。如下图，我们忽略这些个例就行了。



个例

到此,我们的爬虫就写完了，我们还需要设置一下settings里的
DOWNLOAD_DELAY＝2
,这很重要，因为如果无间隔的去爬，很快会被豆瓣ban掉的。

一切准备完毕，我们可以试一下
scrapy crawl douban -o book_data.json
来爬取数据并转化成json格式。

爬虫孜孜不倦地开始爬数据了, 但我们要爬取的只有629页， 630页之后的书都没有了，爬虫却停不下来。怎么办？除了用
ctrl+c(两次)
强制停止外，我们可以在Rule里面把正则式改成这样



rule

最多匹配到999页了，如果还是觉得不爽，可以查查scrapy的CloseSpider异常，抛出该异常可以暂停/停止爬虫。

最终我们爬取的部分数据如下，



book_data.json

把json改成{'Record': [{book_data1,book_data2}]}的形式，可以用导入工具(Navicat Premium)导入数据库中，当然，你也可以自己写个插入语句放入数据库。

4.总结
本篇文章到此结束， 其实也就相当于scrapy官方文档的例子的扩展，只是比那个例子更结合实际一点，没有讲什么特别的东西，我们可以发现，用scrapy定制这个简易爬虫，其实不过100行的代码，还是十分的简单易用的。

文／destino74（简书作者）

原文链接：http://www.jianshu.com/p/fb012aadbc21

著作权归作者所有，转载请联系作者获得授权，并标注“简书作者”。