【Scrapy】学习记录3_编写简单爬虫

编写简单爬虫

爬取自己的csdn博文链接

# -*- coding:gb2312 -*-
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors.sgml import SgmlLinkExtractor
from scrapy.selector import Selector
#from dirbot.items import Website
import sys
import string

sys.stdout = open('output.txt', 'w')  # 将打印信息输出在相应的位置下

add = 0

class CSDNSpider(CrawlSpider):
name = "csdn_ShirleyPaul"
allowed_domains = ["blog.csdn.net"]
start_urls = [
"http://blog.csdn.net/qq_30043465",
]

rules = (
# 提取匹配 'qq_30043465/p/' 的链接并使用spider的parse_item方法进行分析
#http://blog.csdn.net/qq_30043465/article/details/
Rule(SgmlLinkExtractor(allow=('qq_30043465/article/details/',)), callback='parse_item'),
)

def parse_item(self, response):
global add  # 用于统计博文的数量

print  add
add += 1

sel = Selector(response)
items = []

item = {}
item['headTitle'] = sel.xpath('/html/head/title/text()').extract()  # 观察网页对应得html源码
item['url'] = response
print item
items.append(item)
return items

在相应spiders的目录文件下运行

scrapy crawl csdn_ShirleyPaul

===========================================

CrawlSpider

class scrapy.contrib.spiders.CrawlSpider

爬取一般网站常用的spider。

其定义了一些规则(rule)来提供跟进link的方便的机制。 也可以实现自己的spider。

除了从Spider继承过来的(您必须提供的)属性外，其提供了一个新的属性:

rules

一个包含一个(或多个) Rule 对象的集合(list)。

每个 Rule 对爬取网站的动作定义了特定表现。 如果多个rule匹配了相同的链接，则根据他们在本属性中被定义的顺序，第一个会被使用。

该spider也提供了一个可复写(overrideable)的方法:

parse_start_url(response)

当start_url的请求返回时，该方法被调用。

该方法分析最初的返回值并必须返回一个 Item 对象或者 一个 Request 对象或者 一个可迭代的包含二者对象。

爬取规则(Crawling rules)

class scrapy.contrib.spiders.Rule(link_extractor, callback=None, cb_kwargs=None, follow=None, process_links=None, process_request=None)

link_extractor

是一个 Link Extractor 对象。 其定义了如何从爬取到的页面提取链接。

callback

是一个callable或string(该spider中同名的函数将会被调用)。

从link_extractor中每获取到链接时将会调用该函数。该回调函数接受一个response作为其第一个参数， 并返回一个包含 Item 以及(或) Request 对象(或者这两者的子类)的列表(list)。

警告：当编写爬虫规则时，请避免使用 parse 作为回调函数

由于 CrawlSpider 使用 parse 方法来实现其逻辑，如果覆盖了 parse 方法，crawl spider 将会运行失败

cb_kwargs

包含传递给回调函数的参数(keyword argument)的字典。

follow

是一个布尔(boolean)值，指定了根据该规则从response提取的链接是否需要跟进。 如果 callback 为None， follow 默认设置为 True ，否则默认为 False 。

process_links

是一个callable或string(该spider中同名的函数将会被调用)。 从link_extractor中获取到链接列表时将会调用该函数。该方法主要用来过滤。

process_request

是一个callable或string(该spider中同名的函数将会被调用)。 该规则提取到每个request时都会调用该函数。该函数必须返回一个request或者None。 (用来过滤request)