Scrapy-redis分析
2013-10-23 13:14
405 查看
scrapy-redis会常见两个key
youku:requests(zset)存储将要下载的链接(url/header/body的sha1)
youku:dupefilter(set)存储已经下载的链接(url/header/body的sha1)
youku:requests(zset)存储将要下载的链接(url/header/body的sha1)
youku:dupefilter(set)存储已经下载的链接(url/header/body的sha1)
相关文章推荐
- scrapy-redis实现爬虫分布式爬取分析与实现
- Scrapy Redis源码 spider分析
- scrapy-redis实现爬虫分布式爬取分析与实现
- scrapy-redis分布式爬虫原理分析
- scrapy-redis实现爬虫分布式爬取分析与实现
- scrapy-redis源码分析
- scrapy-redis源代码分析
- Scrapy-redis爬虫分布式爬取的分析和实现
- scrapy-redis实现scrapy分布式爬取分析
- Scrapy-redis源码分析
- scrapy-redis 分布式爬取源码分析
- CENTOS6.5安装日志分析ELK elasticsearch + logstash + redis + kibana
- Redis源码分析(十五)——持久化AOF
- scrapy-redis使用详解
- redis源码分析之RDB文件
- redis源码分析(2)——SDS API详解
- redis基本数据类型分析
- Redis源码分析:内存管理
- Redis的源代码分析
- Flume+Kafka+Storm+Redis实时分析系统基本架构