第三百五十五节，Python分布式爬虫打造搜索引擎Scrapy精讲—scrapy信号详解

# -*- coding: utf-8 -*-
import scrapy
from scrapy.http import Request,FormRequest
from scrapy.xlib.pydispatch import dispatcher   # 信号分发器
from scrapy import signals                      # 信号

class PachSpider(scrapy.Spider):                            #定义爬虫类，必须继承scrapy.Spider
name = 'pach'                                           #设置爬虫名称
allowed_domains = ['www.dict.cn']                       #爬取域名

def start_requests(self):    #起始url函数，会替换start_urls
return [Request(
url='http://www.dict.cn/9999998888',
callback=self.parse
)]

# 利用数据收集器，收集所有404的url以及，404页面数量
handle_httpstatus_list = [404]                                      # 设置不过滤404

def __init__(self):
self.fail_urls = []                                             # 创建一个变量来储存404URL
dispatcher.connect(self.spider_closed, signals.spider_closed)   # dispatcher.connect()信号分发器，第一个参数信号触发函数，第二个参数是触发信号，signals.spider_closed是爬虫结束信号

def spider_closed(self, spider, reason):  # 信号触发函数
print('爬虫结束 停止爬虫')
print(self.fail_urls)  # 打印404URL列表
print(self.crawler.stats.get_value('failed_url'))  # 打印数据收集值

def parse(self, response):                                          # 回调函数
if response.status == 404:                                      # 判断返回状态码如果是404
self.fail_urls.append(response.url)                         # 将URL追加到列表
self.crawler.stats.inc_value('failed_url')                  # 设置一个数据收集，值为自增，每执行一次自增1
else:
title = response.css('title::text').extract()
print(title)