scrapy源码分析（三）---------ExecutionEngine（二）一个request的周期
2016-11-29 23:24
148 查看
上一篇中讲解了ExecutionEngine的主循环流程，下面就具体讲解下不需要搁置时，如何处理一个request，从下载页面到解析页面，最后到数据处理的整个流程。
几个核心的类介绍如下：
1.Scraper:刮取器。用于对下载后的结果进行处理，主要使用ItemPipelineManager对数据进行入数据库等操作。
2.Downloader：下载器。对同时下载网页的并发度进行控制，同时通过DownloaderMiddlewareManager来对request,response进行各个中间件的操作。并通过HTTP11DownloadHandler来使用twisted的连接池进行网页下载操作。
工作流程图如下:
几个核心的类介绍如下：
1.Scraper:刮取器。用于对下载后的结果进行处理，主要使用ItemPipelineManager对数据进行入数据库等操作。
2.Downloader：下载器。对同时下载网页的并发度进行控制，同时通过DownloaderMiddlewareManager来对request,response进行各个中间件的操作。并通过HTTP11DownloadHandler来使用twisted的连接池进行网页下载操作。
工作流程图如下:
内容来自用户分享和网络整理，不保证内容的准确性，如有侵权内容，可联系管理员处理 
相关文章推荐
- Android网络框架-Volley(二) RequestQueue源码分析以及建立一个RequestQueue
- SpringMVC4.x源码分析（四）：一个request请求的完整流程和各组件介绍
- Scrapy源码分析（四）：请求Request
- 如何分析一个完整的系统（系统源码分析思路一）
- 一个U盘病毒汇编源码分析
- 通过对一个病毒源码的分析，了解VBS脚本语言的应用
- 蔡军生先生第二人生的源码分析(三十八)构造一个消息包并发送
- Asp.net源码程序分析所感——印度，一个不可轻视的近邻！
- View视图框架源码分析之一:android是如何创建一个view
- C# HttpWebRequest 使用，一个Http分析Demo
- 灰鸽子键盘记录源码分析及一个中英文键盘记录代码
- 一个简单的python代理服务器源码分析
- 用c#编写一个vb 工程源码分析工具（带源码工程下载）
- android2.3 View视图框架源码分析之一:android是如何创建一个view的？
- Orchard源码分析（5.2）：BeginRequest事件处理（DefaultOrchardHost.BeginRequest方法）
- Tomcat源码分析（四）------ Request和Response处理的全过程
- Ext源码分析源码分析之Ext的继承模式解说——第二节、一个简单的继承
- 第二人生的源码分析(三十八)构造一个消息包并发送
- 一个网游盗号木马的汇编源码分析
- java写的一个zip压缩源码错误分析