（python简单的架构思想）爬虫scrapy框架中的spider的底层是怎么实现的

scrapy作为爬虫比较成熟框架，现在用的是最多的爬虫框架，当然，除了自己开发的框架；
crapy Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler中间的通讯，信号、数据传递等。

Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排列，入队，当引擎需要时，交还给引擎。

Downloader（下载器）：负责下载Scrapy Engine(引擎)发送的所有Requests请求，并将其获取到的Responses交还给Scrapy Engine(引擎)，由引擎交给Spider来处理，

Spider（爬虫）：它负责处理所有Responses,从中分析提取数据，获取Item字段需要的数据，并将需要跟进的URL提交给引擎，再次进入Scheduler(调度器)，

Item Pipeline(管道)：它负责处理Spider中获取到的Item，并进行进行后期处理（详细分析、过滤、存储等）的地方.

Downloader Middlewares（下载中间件）：你可以当作是一个可以自定义扩展下载功能的组件。

Spider Middlewares（Spider中间件）：你可以理解为是一个可以自定扩展和操作引擎和Spider中间通信的功能组件（比如进入Spider的Responses;和从Spider出去的Requests）
这里主要讲的是scrapy中的spider部件，但是我们用的时候第一个请求start_requests不用直接指定回调函数，还有很多请求的时候scrapy是怎么根据回调函数来执行指定的回调函数的， 其实scrapy中的spider以及架构的实现方式之一就是用下面这种的简单的对类的封装来实现的，来达到解耦合的作用。
还有scrapy中的中间件以及django的在settings中配置，为何就能直接实现功能呢，它其实是另外一种的框架实现的思路，通过权限定名的方式实现创建对象。

"""

实现scrapy中的发送请求的时候 用name 找到对应的类和方法
scrapy 中  spider     发送请求  接受响应  callback ------以及异步
"""

class Spider(object):
name = 'a'

def crawler(self, url):
raise ValueError('覆盖我')

class MySpider(Spider):
name = 's'

def crawler(self, url):
return '已采集' + url

class MySpider1(Spider):
name = 's1'

def crawler(self, url):
return '已采集1' + url

class MySpider2(MySpider1):
name = 's2'

def crawler(self, url):
return '已采集1' + url

def c1(self, url):
return url

def main(spider_name):
url = 'aa'
for c in Spider.__subclasses__():
print(c.name)  # 获得所有子类
if c.name == spider_name:
3ff8

spider = c()
data = spider.crawler(url)
print(data)

if __name__ == '__main__':
main('s1')

运行结果：
s
s1
已采集1aa