在服务器上(ubuntu)设置scrapy爬虫程序定时执行
2017-03-20 16:34
633 查看
1、编写执行程序的命令脚本
如脚本命名cron.sh
输入vi /etc/workspace/cron.sh
输入i进入编辑状态,编辑内容,点击Esc退出编辑状态,然后输入:wq!保存退出(:q!不保存退出)。
2、设定crontab执行的命令和执行的时间频率
输入crontab -e
编辑执行频率和命令
如0 0 1,10,13 * * * sh /etc/workspace/cron.sh 设置程序每天0点10点13点各执行一次
-------------------------------------------------那么一条分割线----------------------------------------------------
crontab格式规则
* * * * * 【执行命令】
第1列表示分钟,范围0~59
第2列表示小时,范围0~23
第3列表示日,范围1~31
第4列表示月,范围1~12
第5列表示星期,范围0~6(0表示周日)
第6列表示要运行的命令
* * * * * 每分钟执行
0 * * * * 每小时0分执行
0 0 * * * 每天0时0分执行
0 0 * * 0 每周日0时0分执行
0 0 1 * * 每月1日0时0分执行
0 0 1 1 * 每年1月1日0时0分执行
注:
1、每周和每日是规定时,两个时间都包括。如0 0 4 * 1-3 每月,4号与每周一到周三执行
2、一个单位多个时间时,可用“,”隔开。如 0,30 * * * * 每小时,任意时刻0分和30分,时执行
3、一个单位一个时间段,可用“-”链接,默认间隔为1。如0 10-15 *
* * 每天,10 : 00到15 : 00之间,每隔小时执行
4、默认间隔为1,若间隔不唯一时,用“/n”表示间隔为n。如0
10-14/2 * * * 每天,10 : 00到15 : 00之间,每隔2小时执行
-------------------------------------------------那么一条分割线----------------------------------------------------
3、打开crontab日志,ubuntu默认没有开启crontab的日志功能
输入 vi /etc/rsyslog.d/50-default.conf ,去掉cron.*这一行前的注释。
4、重启rsyslog
sudo service rsyslog restart
输入tail –f /var/log/cron.log查看crontab当前日志了,可以看cron.sh到时间是否被执行。
如脚本命名cron.sh
输入vi /etc/workspace/cron.sh
输入i进入编辑状态,编辑内容,点击Esc退出编辑状态,然后输入:wq!保存退出(:q!不保存退出)。
2、设定crontab执行的命令和执行的时间频率
输入crontab -e
编辑执行频率和命令
如0 0 1,10,13 * * * sh /etc/workspace/cron.sh 设置程序每天0点10点13点各执行一次
-------------------------------------------------那么一条分割线----------------------------------------------------
crontab格式规则
* * * * * 【执行命令】
第1列表示分钟,范围0~59
第2列表示小时,范围0~23
第3列表示日,范围1~31
第4列表示月,范围1~12
第5列表示星期,范围0~6(0表示周日)
第6列表示要运行的命令
* * * * * 每分钟执行
0 * * * * 每小时0分执行
0 0 * * * 每天0时0分执行
0 0 * * 0 每周日0时0分执行
0 0 1 * * 每月1日0时0分执行
0 0 1 1 * 每年1月1日0时0分执行
注:
1、每周和每日是规定时,两个时间都包括。如0 0 4 * 1-3 每月,4号与每周一到周三执行
2、一个单位多个时间时,可用“,”隔开。如 0,30 * * * * 每小时,任意时刻0分和30分,时执行
3、一个单位一个时间段,可用“-”链接,默认间隔为1。如0 10-15 *
* * 每天,10 : 00到15 : 00之间,每隔小时执行
4、默认间隔为1,若间隔不唯一时,用“/n”表示间隔为n。如0
10-14/2 * * * 每天,10 : 00到15 : 00之间,每隔2小时执行
-------------------------------------------------那么一条分割线----------------------------------------------------
3、打开crontab日志,ubuntu默认没有开启crontab的日志功能
输入 vi /etc/rsyslog.d/50-default.conf ,去掉cron.*这一行前的注释。
4、重启rsyslog
sudo service rsyslog restart
输入tail –f /var/log/cron.log查看crontab当前日志了,可以看cron.sh到时间是否被执行。
相关文章推荐
- 【服务器】服务器上设置定时任务,定时执行Java程序
- Linux下如何定时执行php脚本?Linux下如何设置定时任务?Crontab定时执行程序
- Ubuntu Tomcat服务器设置自动重启,定时检查崩溃后重启
- Linux(Ubuntu)下设置开机启动shell脚本执行Java程序jar包
- 在mac下用crontab来定时执行scrapy爬虫命令
- ubuntu服务器自动自动编译脚本并且每天定时自动执行
- Tomcat中设置监听类定时执行程序
- python实现scrapy定时执行爬虫
- 浅析python实现scrapy定时执行爬虫
- 局域网中将备份数据库拷贝到其他服务器中(可以设置成任务,定时自动执行)
- linux下使用crontab设置scrapy爬虫定时抓取数据
- 在Java中如何设置一个定时任务,在每天的一个时间点自动执行一个特定的程序
- Win7设置定时自动执行程序或脚本
- 爬虫程序定时执行和监控示例
- 在Java中如何设置一个定时任务,在每天的一个时间点自动执行一个特定的程序
- Linux下如何定时执行php脚本?Linux下如何设置定时任务?Crontab定时执行程序
- 程序设置了多个定时任务,AlarmManager每次都执行第一次出发的那个
- Cron 的在ubuntu 定时执行自己的程序&& Python获取当前 脚本文件的路径。
- linux python 爬虫 服务器部署 crontab定时执行