Scrapy研究探索（六）——自己主动爬取网页之II（CrawlSpider）

原创，转载注明：http://blog.csdn.net/u012150179/article/details/34913315

一.目的。

在教程（二）（http://blog.csdn.net/u012150179/article/details/32911511）中使用基于Spider实现了自己的w3cschool_spider，并在items.py中定义了数据结构，

在pipelines.py中实现获得数据的过滤以及保存。

可是以上述方法仅仅能爬取start_url列表中的网页。而网络爬虫如google等搜索引擎爬虫实现的就是对整个互联网的爬取，所以在本教程中研究使用scrapy自己主动实现多网页爬取功能。

在教程（五）（http://blog.csdn.net/u012150179/article/details/34486677）中已经编写继承自spider的类实现爬虫。实现了自己主动多网页爬取，这里引出CrawlSpider类，使用更简单方式实现自己主动爬取。

二.热身。

1.CrawlSpider

（1）概念与作用：

它是Spider的派生类。首先在说下Spider，它是全部爬虫的基类，对于它的设计原则是仅仅爬取start_url列表中的网页。而从爬取的网页中获取link并继续爬取的工作CrawlSpider类更适合。

（2）使用：

它与Spider类的最大不同是多了一个rules參数，其作用是定义提取动作。在rules中包括一个或多个Rule对象，Rule类与CrawlSpider类都位于scrapy.contrib.spiders模块中。

class scrapy.contrib.spiders.Rule (
link_extractor, callback=None,cb_kwargs=None,follow=None,process_links=None,process_request=None )

当中：

link_extractor为LinkExtractor，用于定义须要提取的链接。

callback參数：当link_extractor获取到链接时參数所指定的值作为回调函数。

callback參数使用注意：

当编写爬虫规则时，请避免使用parse作为回调函数。于CrawlSpider使用parse方法来实现其逻辑，假设您覆盖了parse方法。crawlspider将会执行失败。

follow：指定了依据该规则从response提取的链接是否须要跟进。当callback为None,默认值为true。

process_links：主要用来过滤由link_extractor获取到的链接。

process_request：主要用来过滤在rule中提取到的request。

classscrapy.contrib.linkextractors.sgml.SgmlLinkExtractor(
allow=(),deny=(),allow_domains=(),deny_domains=(),deny_extensions=None,restrict_xpaths=(),tags=('a','area'),attrs=('href'),canonicalize=True,unique=True,process_value=None)

主要參数：

allow：满足括号里“正則表達式”的值会被提取，假设为空，则所有匹配。

deny：与这个正則表達式(或正則表達式列表)不匹配的URL一定不提取。

allow_domains：会被提取的链接的domains。

deny_domains：一定不会被提取链接的domains。

restrict_xpaths：使用xpath表达式，和allow共同作用过滤链接。

三.RUN!

shell中验证

開始编写代码之前。使用scrapyshell查看使用SmglLinkExtractor在网页中获取到的链接：

scrapy shell http://blog.csdn.net/u012150179/article/details/11749017[/code] 
继续import相关模块：

fromscrapy.contrib.linkextractors.sgml import SgmlLinkExtractor


如今使用SgmlLinkExtractor查看在当前网页中获得的链接：

item=SgmlLinkExtractor(allow=('/u012150179/article/details')).extract_links(response)


当中item为包括Link()对象的列表。如今显示当中的text元素（就是获取到的文章链接相应的文章标题）：

for i in item:
print i.text


部分结果截图：



对比网页能够得到此时获取的是当前网页中全部满足allow条件的链接，不仅包括“下一篇”的链接，还有网页側边栏“阅读排行“、”评论排行“中的文章链接。为了仅仅获得”下一篇“文章链接，这就要进行全部链接的筛选。引入參数restrict_xpaths，继续：

item= SgmlLinkExtractor(allow=('/u012150179/article/details'),restrict_xpaths=('//li[@class="next_article"]')).extract_links(response)


这是在如上查看结果，便提取出了“下一篇”文章链接。

注意：在shell中并不正确提取到的link进行跟进。

在这里不得不提的就是scrapy shell是对调试、验证非常实用的交互工具。应该掌握。

在shell中进行了验证后进入写代码阶段。

编写代码
（1）items.py和pipelines.py以及settings.py与之前教程类似，不具体描写叙述。


（2）爬虫编写。
上码：

# -*- coding:utf-8 -*-

from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
from CSDNBlogCrawlSpider.items import CsdnblogcrawlspiderItem

class CSDNBlogCrawlSpider(CrawlSpider):

"""继承自CrawlSpider，实现自己主动爬取的爬虫。

"""

name = "CSDNBlogCrawlSpider"
#设置下载延时
download_delay = 2
allowed_domains = ['blog.csdn.net']
#第一篇文章地址
start_urls = ['http://blog.csdn.net/u012150179/article/details/11749017']

#rules编写法一。官方文档方式
#rules = [
#    #提取“下一篇”的链接并**跟进**,若不使用restrict_xpaths參数限制。会将页面中所有
#    #符合allow链接所有抓取
#    Rule(SgmlLinkExtractor(allow=('/u012150179/article/details'),
#                          restrict_xpaths=('//li[@class="next_article"]')),
#         follow=True)
#
#    #提取“下一篇”链接并运行**处理**
#    #Rule(SgmlLinkExtractor(allow=('/u012150179/article/details')),
#    #     callback='parse_item',
#    #     follow=False),
#]

#rules编写法二，更推荐的方式（自己測验。使使用方法一时常常出现爬到中间就finish情况，而且无错误码）
rules = [
Rule(SgmlLinkExtractor(allow=('/u012150179/article/details'),
restrict_xpaths=('//li[@class="next_article"]')),
callback='parse_item',
follow=True)
]

def parse_item(self, response):

#print "parse_item>>>>>>"
item = CsdnblogcrawlspiderItem()
sel = Selector(response)
blog_url = str(response.url)
blog_name = sel.xpath('//div[@id="article_details"]/div/h1/span/a/text()').extract()

item['blog_name'] = [n.encode('utf-8') for n in blog_name]
item['blog_url'] = blog_url.encode('utf-8')

yield item


执行：

scrapy crawl CSDNBlogCrawlSpider


得到的效果如教程（五）一致。

当中指出和教程（五）所编写爬虫方法的差异：
首先。基类CrawlSpider提供了更完好的自己主动多网页爬取机制，仅仅须要我们配置的就是rules，通过Rule对象实现链接的提取与跟进。恩，对，没了。

。。

就这样。

具体的凝视也都在程序中。

进行到这里，就将本篇文章主题讲述完成。核心是CrawlSpider，主要方法是rules。

关于scrapy的使用可參见之前文章：



http://blog.csdn.net/u012150179/article/details/34913315

http://blog.csdn.net/u012150179/article/details/34486677
 http://blog.csdn.net/u012150179/article/details/34441655 
http://blog.csdn.net/u012150179/article/details/32911511