Linux部署python爬虫脚本,并设置定时任务的方法
2019-06-29 09:52
1281 查看
去年因项目需要,用python写了个爬虫。因爬到的数据需要存到生产环境的PG数据库。所以需要将脚本部署到CentOS服务器,并设置定时任务,自动启动脚本。
实施步骤如下:
1.安装pip(操作系统自带了python2.6可以直接用,但是没有pip)
# 下载pip安装包 wget "https://pypi.python.org/packages/source/p/pip/pip-1.5.4.tar.gz#md5=834b2904f92d46aaa333267fb1c922bb" --no-check-certificate # 解压安装包并安装 tar -xzvf pip-1.5.4.tar.gz cd pip-1.5.4 python setup.py install
2.用pip安装第三方库
pip install PyGreSQL==5.0.3 pip install requests==2.18.3
3.设置定时任务
# 开启定时任务服务 service crond start # 查看定时任务服务状态 service crond status # 打开定时任务编辑窗口 crontab -e # 添加两条定时任务,即每天0点0分和12点20分各执行一次,并写入日志 0 0 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 & 20 12 * * * /usr/bin/python /home/longrise/psrd/collect.py > /home/longrise/psrd/collect.log 2>&1 & 定时任务语法如下: # For details see man 4 crontabs # Example of job definition: # .---------------- minute (0 - 59) # | .------------- hour (0 - 23) # | | .---------- day of month (1 - 31) # | | | .------- month (1 - 12) OR jan,feb,mar,apr ... # | | | | .---- day of week (0 - 6) (Sunday=0 or 7) OR sun,mon,tue,wed,thu,fri,sat # | | | | | # * * * * * user-name command to be executed
以上这篇Linux部署python爬虫脚本,并设置定时任务的方法就是小编分享给大家的全部内容了,希望能给大家一个参考
您可能感兴趣的文章:
相关文章推荐
- Linux中使用python crontab设置定时任务的方法详解
- centos 设置定时任务执行指定脚本的方法
- window设置定时任务执行python脚本
- linux python 爬虫 服务器部署 crontab定时执行
- Linux-crontab命令工具设置定时任务用于执行DB2脚本
- 在linux中执行shell脚本,当前用户执行没有问题,设置为定时任务却报错
- windows下python设置定时任务(定时执行脚本)
- Linux下如何定时执行php脚本?Linux下如何设置定时任务?Crontab定时执行程序
- linux下定时执行python脚本方法
- 详解使用python crontab设置linux定时任务
- Linux下如何定时执行php脚本?Linux下如何设置定时任务?Crontab定时执行程序
- 在linux下设置kettle的定时任务方法
- python 每天如何定时启动爬虫任务(实现方法分享)
- linux设置定时任务的方法步骤
- Linux下Python脚本自启动与定时任务详解
- linux 定时任务 定时执行某脚本 定期爬虫 统计 刷新 crontab -e
- linux下载ftp、http服务器文件的方法以及设置定时任务的方法
- python设置定时任务(定时执行脚本)
- 记录linux设置定时执行python脚本以及输出到指定文件
- Linux 中使用 crontab 命令设置定时任务的方法