scrapy学习笔记--解析结果存储

在上一篇中已经得到了想要的name，但是并没有将获取的结果保存，仅仅是打印出来了而已。

那么现在我们将使用到最初定义的Item对象。

Item对象是一个自定义的字典。所以操作Item与正常操作一个字典是一样的。

字典里面的字段就是之前定义的属性，本文中就是name属性。

# -*- coding: utf-8 -*-
from _elementtree import parse
import re
import scrapy
from firstSpider.items import FirstspiderItem

class ExampleSpider(scrapy.Spider):
name = "example"
allowed_domains = ["zhihu.com"]
start_urls = (
'http://www.zhihu.com/question/31810474#answer-16771792',
)

def parse(self, response):
#选择器提取页面内容
for sel in response.xpath('//h3'):
item = FirstspiderItem()
item['name'] = sel.re(r'<a data-tip="p\$[\$\w-]+?" href="/people/[\$\w-]+?">(.+?)</a>')
yield item

需要注意的是在import 你的Item时，需要正确填写路径，不然可能会报错。

yield的作用是把parse函数变成一个发生器（generator），每次函数执行会返回一个迭代对象（iterable 对象）。

使用yield有两个明显好处：一是代码简洁，二是每次返回一个迭代对象，而不会一直占用内存。

再次运行爬虫，得到如下结果：



在命令行中执行如下命令：

scrapy crawl firstSpider -o items.json

这个命令的含义是执行爬虫firstSpider，将得到的item以json字符串的形式保存到items.json文件中。

如果需要对结果进行更加复杂的操作，则需要编辑爬虫目录下的pipelines.py文件。

至此，第一个Scrapy爬虫已经完成，这个爬虫爬取了一个页面，提取了页面的一些元素，并将结果保存在了item中。这个爬虫只是一个简单的例子，通过这个例子能够对Scrapy爬虫项目有一个初步的认识。

之后将深入学习Scrapy的更多内容。