您的位置:首页 > 编程语言 > Python开发

python_windows下PySpider敲的代码在哪里?以及如何重新执行已经完成的爬虫项目

2018-12-22 17:34 781 查看

问题描述:使用PySpider进行爬虫,已经执行完代码,项目的进度已经完成,显示百分之百,由于修改了代码,想重新执行,但是一直显示爬虫项目已经完成。

原因分析:当你在执行完爬虫的项目的时候,系统会将你的执行信息在本地进行存放,再次执行的时候会先看你的执行信息,如果已经完成,系统则会显示已经完成,不会真正的再一次进行爬虫。

解决:所以我们要找到本地存放PySpider相关文件的路径,进行修改或删除

本地路径:因为我是使用pip install pyspider进行安装的,所以我的pyspider相关文件的路径如下:

C:\Users\Administrator\data

  • project.db:用于保存项目代码和配置的

  • result.db:保存结果数据

  • task.db:保存任务数据

    和任务相关的调度

    scheduler.all

  • scheduler.1d

  • scheduler.1

 

如果想要删除之前的下载的数据和任务::

删除result.db和task.db,scheduler.all,scheduler.1d,scheduler.1h

然后重新刷新页面:

http://localhost:5000/

就可以重新执行爬虫任务了

下面进行测试:

删除文件

重启spider

登录 http://localhost:5000/可以看到process一栏没有进度,可以重新执行爬虫任务。

内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: 
相关文章推荐