python实现scrapy定时执行爬虫
2017-03-23 12:26
871 查看
项目需要程序能够放在超算中心定时运行,于是针对scrapy写了一个定时爬虫的程序
最简单的方法:直接使用Timer类
或者,使用标准库的sched模块
关于cmd的实现方法,本人在单次执行爬虫程序时使用的是
但可能因为cmdline是scrapy模块中自带的,所以定时执行时只能执行一次就退出了。小伙伴有种方法是使用
她的程序运行正常可以定时多次执行,而我的却直接退出了,改为
才正常,不知道为什么会这样,如果有大神可以解释原因还请指点。反正
参考网址:
Python的sched模块和Timer类
python sched模块学习
[转]深入学习python (六) 用sched来定时执行任务
Python_cmd的各种实现方法及优劣(subprocess.Popen, os.system和commands.getstatusoutput) - z…
main.py,直接放在scrapy的存储代码的目录中就能设定时间定时多次执行。
最简单的方法:直接使用Timer类
import time import os while True: os.system("scrapy crawl News") time.sleep(86400) #每隔一天运行一次 24*60*60=86400s
或者,使用标准库的sched模块
import sched #初始化sched模块的scheduler类 #第一个参数是一个可以返回时间戳的函数,第二个参数可以在定时未到达之前阻塞。 schedule = sched.scheduler ( time.time, time.sleep ) #被周期性调度触发的函数 def func(): os.system("scrapy crawl News") def perform1(inc): schedule.enter(inc,0,perform1,(inc,)) func() # 需要周期执行的函数 def mymain(): schedule.enter(0,0,perform1,(86400,)) if __name__=="__main__": mymain() schedule.run() # 开始运行,直到计划时间队列变成空为止
关于cmd的实现方法,本人在单次执行爬虫程序时使用的是
cmdline.execute("scrapy crawl News".split())
但可能因为cmdline是scrapy模块中自带的,所以定时执行时只能执行一次就退出了。小伙伴有种方法是使用
import subprocess subprocess.Popen("scrapy crawl News")
她的程序运行正常可以定时多次执行,而我的却直接退出了,改为
from subprocess import Popen subprocess.Popen("scrapy crawl News")
才正常,不知道为什么会这样,如果有大神可以解释原因还请指点。反正
os.system、
subprocess.Popen都是pythoncmd的实现方法,可以根据需要选择使用。
参考网址:
Python的sched模块和Timer类
python sched模块学习
[转]深入学习python (六) 用sched来定时执行任务
Python_cmd的各种实现方法及优劣(subprocess.Popen, os.system和commands.getstatusoutput) - z…
相关文章推荐
- 浅析python实现scrapy定时执行爬虫
- Python Scrapy爬虫入门 - 使用Crontab实现Scrapy爬虫的定时执行
- 基于Python,scrapy,redis的分布式爬虫实现框架
- python分布式爬虫打造搜索引擎--------scrapy实现
- python爬虫框架scrapy一次执行多个爬虫文件
- Python使用Scrapy爬虫框架全站爬取图片并保存本地的实现代码
- Python3 爬虫之 Scrapy 核心功能实现(二)
- Python scrapy 实现网页爬虫
- 第三百五十节,Python分布式爬虫打造搜索引擎Scrapy精讲—selenium模块是一个python操作浏览器软件的一个模块,可以实现js动态网页请求
- Python之Scrapy框架Redis实现分布式爬虫详解
- 第三百六十九节,Python分布式爬虫打造搜索引擎Scrapy精讲—elasticsearch(搜索引擎)用Django实现搜索功能
- [爬虫入门]Python中使用scrapy框架实现图片爬取
- Python3+Scrapy实现网页爬虫
- linux python 爬虫 服务器部署 crontab定时执行
- python程序(scrapy爬虫)在windows环境下开机定时自启动
- 在服务器上(ubuntu)设置scrapy爬虫程序定时执行
- python scrapy简单爬虫记录(实现简单爬取知乎)
- 关于python scrapy执行爬虫出现的 ImportError: DLL load failed:找不到指定的模块
- 基于Python使用scrapy-redis框架实现分布式爬虫 注