Scrapy redis中爬取卡死 解决(清除缓存)
2019-03-22 21:11
1446 查看
环境: win10 py3.6 pycharm scrapy1.6
类似报错信息
2017-05-19 20:08:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-19 20:08:53 [scrapy.extensions.telnet] DEBUG: Telnet console listening on 127.0.0.1:6023 2017-05-19 20:09:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-19 20:10:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-19 20:11:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-19 20:12:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) 2017-05-19 20:13:53 [scrapy.extensions.logstats] INFO: Crawled 0 pages (at 0 pages/min), scraped 0 items (at 0 items/min) ...
解决方案: 打开redis-cli.exe 输入以下命令
flushdb lpush Noverspider:start_urls http://www.daomubiji.com/ # 这里的http://www.daomubiji.com/ 根据自己的实际情况填写
在博文 Scrapy爬取盗墓笔记0.2版 可见实际应用
参考 : https://www.jianshu.com/p/219ccf8e4efb
相关文章推荐
- Linux的cached和pagecache清除 解决缓存、内存不足、测试结果影响问题
- ios之清除cell缓存,解决cell的重用问题。
- SSM入门项目-4-Redis解决缓存问题
- @CacheEvict只能单一清除的扩展 -模糊-正则清除多条缓存 解决
- phalapi-进阶篇7(使用缓存以及用redis拓展解决实际问题)
- 修复本地连接时无法清除DNS缓存的解决办法
- scrapy-redis所有request爬取完毕,如何解决爬虫空跑问题?
- Linux的cached和pagecache清除 解决缓存、内存不足、测试结果影响问题
- redis 缓存穿透和缓存血崩及其解决办法?
- Win7系统无法清除DNS缓存的解决方法
- [每天解决一问题系列 - 0011] 如何清除Windows中的Icon缓存
- Redis清除缓存方法
- redis系列11--redis的LRU缓存清除算法讲解以及相关配置
- redis 清除缓存
- 【高并发简单解决方案】redis队列缓存 + mysql 批量入库 + php离线整合 PHP解决抢购、秒杀
- MVC清除缓存,可以解决浏览器后退键带来的问题
- 解决MyEclipse 5.5和Weblogic 9.2整合以及清除缓存问题(转)
- 无法清除DNS缓存的解决办法
- android 读取,清除缓存通用于所有手机 解决空指针
- ios之清除cell缓存,解决cell的重用问题。