python_windows下PySpider敲的代码在哪里?以及如何重新执行已经完成的爬虫项目
2018-12-22 17:34
781 查看
问题描述:使用PySpider进行爬虫,已经执行完代码,项目的进度已经完成,显示百分之百,由于修改了代码,想重新执行,但是一直显示爬虫项目已经完成。
原因分析:当你在执行完爬虫的项目的时候,系统会将你的执行信息在本地进行存放,再次执行的时候会先看你的执行信息,如果已经完成,系统则会显示已经完成,不会真正的再一次进行爬虫。
解决:所以我们要找到本地存放PySpider相关文件的路径,进行修改或删除
本地路径:因为我是使用pip install pyspider进行安装的,所以我的pyspider相关文件的路径如下:
C:\Users\Administrator\data
-
project.db:用于保存项目代码和配置的
-
result.db:保存结果数据
-
task.db:保存任务数据
和任务相关的调度
scheduler.all
-
scheduler.1d
-
scheduler.1
如果想要删除之前的下载的数据和任务::
删除result.db和task.db,scheduler.all,scheduler.1d,scheduler.1h
然后重新刷新页面:
就可以重新执行爬虫任务了
下面进行测试:
删除文件
重启spider
登录 http://localhost:5000/可以看到process一栏没有进度,可以重新执行爬虫任务。
相关文章推荐
- 如何在Java项目中执行python代码
- 如何在github上fork一个项目来贡献代码以及同步原作者的修改
- 手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
- 如何判断链表有没有环,环的大小?环的切入点在哪里以及链表的长度(分别用javascrip和Java代码实现)
- web测试常用python代码——ssh远程登陆以及命令执行
- python2与python3差异,以及如何写两者兼容代码
- 【实战\聚焦Python分布式爬虫必学框架Scrapy 打造搜索引擎项目笔记】第2章 windows下搭建开发环境
- 如何获取C#中方法的执行时间以及其代码注入详解
- 手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
- 如何在github上fork一个项目来贡献代码以及同步原作者的修改
- 如何在github上fork一个项目来贡献代码以及同步原作者的修改
- windows下如何安装python以及第一个python程序
- 手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
- 16Python爬虫---Scrapy目录结构以及项目创建
- 如何用Python和PyInstaller编写Windows恶意代码
- 手把手教你如何把java代码,打包成jar文件以及转换为exe可执行文件
- Windows环境Vim编辑器如何执行Ruby代码
- Windows 下 Python如何执行编写的.py文件?
- web测试常用python代码——ssh远程登陆以及命令执行
- 如何从word开始处理html文件?以及windows上安装python lxml beautifulsoup