Scrapy 日志分析

统计信息展示
• 爬虫进度可视化
• 关键日志分类

支持所有 Scrapyd API

Deploy project, Run Spider, Stop job
• List projects/versions/spiders/running_jobs
• Delete version/project

GitHub

scrapydweb

欢迎 Star 和提交 Issue

安装

通过 pip 安装：

pip install scrapydweb

启动

通过命令行终端运行 "scrapydweb -h" 以查看帮助和选项. 第一次运行将在当前工作目录生成配置文件 "scrapydweb_settings.py"，可用于自定义 Scrapyd 服务器列表等选项.

scrapydweb

通过浏览器访问 http://127.0.0.1:5000

运行界面截图

• 集群监控和交互

   

• 当前节点任务列表

  
  

   

• 日志分析

  统计信息输出

  
  

   

• 爬虫进度可视化

  
  

   

• 关键日志分类

  
  

   

部署项目

运行爬虫

管理项目