如何使用crontab定时运行爬虫

如何使用crontab定时运行爬虫

有用的指令

编辑cron的清单

crontab -e

查看cron的清单

crontab -l

查看cron的log

grep CRON /var/log/syslog

选择默认编辑器

select-editor

查看命令的系统位置

whereis php

遇到的问题

1.require_once()失败

PHP Warning:  require_once(config.php): failed to open stream: No such file or directory in /root/php-spider/pic_dock/lib/Example/DBManager.php on line 14
PHP Fatal error:  require_once(): Failed opening required 'config.php' (include_path='.:/usr/share/php:/usr/share/pear') in /root/php-spider/pic_dock/lib/Example/DBManager.php on line 14

解决方法：将require_once文件里的信息合并到DBManager里了。另一种解决方法是写绝对路径

2.crontab始终不执行

最后发现start-spider.sh拼写不一致。。