Scrapy爬虫框架学习笔 二 CrawlSpider的使用

爬虫类的介绍

Scrapy框架中的Spider是没有提供其他功能的爬虫类。需要我们自己去关注具体网页URL的提取和URL的回调。

Scrapy框架还提供了一些具有其他功能的爬虫类。这些类都继承自Spider类。

CrawlSpider：爬取一般网站常用的spider。其定义了一些规则(rule)来提供跟进link的方便的机制。

这个类让我们可以对拥有一定规则的URL进行跟进。在一般网站中通常具有相同主题网页的URL中有一部分是相同的。这样我们通过对URL特征的判断就可以判断这个URL的网页是不是我们要抓取的页面。而不用去跟进（加载）所有的网页。

XMLFeedSpider： XMLFeedSpider被设计用于通过迭代各个节点来分析XML源(XML feed)。

这个类通常是用于爬去XML文档的网页。

CSVFeedSpider：对特定CSV网页的爬取

该spider除了其按行遍历而不是节点之外其他和XMLFeedSpider十分类似。 而其在每次迭代时调用的是 parse_row() 。

SitemapSpider：通过对xml网站地图(xml Sitemaps)的协议的访问发现URL。

通过对协议的访问提取允许访问的URL。并跟进。

这里也可以按特定的规则进行跟进。

还有一种通用爬虫(broad crawls)。用也爬去大量的网站。以上的几种爬虫都是特定爬虫。通用爬虫一般是用于搜索引擎

CrawlSpider

除了从Spider继承过来的(您必须提供的)属性外，其提供了一个新的属性:

属性

rules

一个包含一个(或多个) Rule 对象的集合(list)。 每个 Rule 对爬取网站的动作定义了特定表现。 Rule对象在下边会介绍。 如果多个rule匹配了相同的链接，则根据他们在本属性中被定义的顺序，第一个会被使用。

可复写的方法

parse_start_url(response)

当start_url的请求返回时，该方法被调用。 该方法分析最初的返回值并必须返回一个 Item 对象或者 一个 Request 对象或者 一个可迭代的包含二者对象。

爬取规则(Crawling rules)

class scrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)

link_extractor 是一个 Link Extractor 对象。 其定义了如何从爬取到的页面提取链接。

callback 是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中每获取到链接时将会调用该函数。该回调函数接受一个response作为其第一个参数， 并返回一个包含 Item 以及(或) Request 对象(或者这两者的子类)的列表(list)。

警告

当编写爬虫规则时，请避免使用 parse 作为回调函数。 由于 CrawlSpider 使用 parse 方法来实现其逻辑，如果 您覆盖了 parse 方法，crawl spider 将会运行失败。

cb_kwargs 包含传递给回调函数的参数(keyword argument)的字典。

follow 是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。 如果 callback 为None， follow 默认设置为 True ，否则默认为 False 。

process_links 是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。

process_request 是一个callable或string(该spider中同名的函数将会被调用)。 该规则提取到每个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)

### Link Extractor 对象

其定义了如何从爬取到的页面提取链接。是对网页提取链接的具体封装。

在网页中如果我们的到的不是最终的URL我们需要特定转换才能得到。这时我们就需要自定义我们自己的Link Extractor 类

建自己定制的Link Extractor

Scrapy默认提供2种可用的 Link Extractor, 但你通过实现一个简单的接口创建自己定制的Link Extractor来满足需求｡ Scrapy 提供了 scrapy.contrib.linkextractors import LinkExtractor ， 不过您也可以通过实现一个简单的接口来创建您自己的Link Extractor，满足需求。

每个LinkExtractor有唯一的公共方法是 extract_links ，

参数：其接收 一个 Response 对象，

返回值：并返回 scrapy.link.Link 对象｡

Link Extractors只实例化一次，其 extract_links 方法会根据不同的response被调用多次来提取链接｡

Link Extractors在 CrawlSpider 类(在Scrapy可用)中使用, 通过一套规则,但你也可以用它在你的Spider中,即使你不是从 CrawlSpider 继承的子类, 因为它的目的很简单: 提取链接｡

内置Link Extractor 参考

Scrapy 自带的Link Extractors类在 scrapy.contrib.linkextractors 模块提供｡

默认的link extractor 是 LinkExtractor ，其实就是 LxmlLinkExtractor:

from scrapy.contrib.linkextractors import LinkExtractor

在以前版本的Scrapy版本中提供了其他的link extractor，不过都已经被废弃了。

LxmlLinkExtractor

class scrapy.contrib.linkextractors.lxmlhtml.LxmlLinkExtractor(

allow=(),

deny=(),

allow_domains=(),

deny_extensions=None,

restrict_xpaths=(),

tags=(‘a’, ‘area’),

attrs=(‘href’, ),

canonicalize=True,

process_value=None)

lxmllink萃取器是推荐的链接提取器，具有方便的过滤选项。它是使用lxml的健壮的HTMLParser实现的。

参数:

allow (a regular expression (or list of))

一个正则表达式(或正则表达式的列表)，必须匹配(绝对)url，以便提取。如果没有给定(或空)，它将匹配所有链接。

deny (a regular expression (or list of))

一个正则表达式(或正则表达式的列表)，(绝对)url必须匹配才能被排除(例如。不提取)。它优先于允许参数。如果没有给定(或空)，它不会排除任何链接。

allow_domains (str or list)

单个值或包含域的字符串列表，这些域将被考虑用于提取链接

deny_domains (str or list)

单个值或包含域的字符串列表，这些域是不考虑提取链接的

deny_extensions (list)

当提取链接时，应该忽略一个包含扩展的字符串的单一值或列表。如果没有给出，它将默认为在剪贴簿中定义的无知扩展列表。linkextractor模块。

restrict_xpaths (str or list)

是一个XPath(或XPath列表)，它定义了响应中应该从何处提取链接的区域。如果给定，只有XPath选择的文本将被扫描为链接。请参见下面的例子。

tags (str or list)

在提取链接时需要考虑的标记或标记列表。默认为 (‘a’, ‘area’).

canonicalize (boolean)

每个url(使用scrapy.utils.url.canonicalize_url)提取规范化。默认值为True。

process_value (callable)

它接收来自扫描标签和属性提取每个值, 可以修改该值, 并返回一个新的, 或返回 None 完全忽略链接的功能｡如果没有给出, process_value 默认是 lambda x: x｡

CrawlSpider样例

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
name = 'example.com'
allowed_domains = ['example.com']
start_urls = ['http://www.example.com']

rules = (
# 提取匹配 'category.php' (但不匹配 'subsection.php') 的链接并跟进链接(没有callback意味着follow默认为True)
Rule(LinkExtractor(allow=('category\.php', ), deny=('subsection\.php', ))),

# 提取匹配 'item.php' 的链接并使用spider的parse_item方法进行分析
Rule(LinkExtractor(allow=('item\.php', )), callback='parse_item'),
)

def parse_item(self, response):
self.log('Hi, this is an item page! %s' % response.url)

item = scrapy.Item()
item['id'] = response.xpath('//td[@id="item_id"]/text()').re(r'ID: (\d+)')
item['name'] = response.xpath('//td[@id="item_name"]/text()').extract()
item['description'] = response.xpath('//td[@id="item_description"]/text()').extract()
return item

注意：不要复写CrawlSpider的parse方法。

CrawlSpider通过parse方法来实现业务逻辑。