您的位置:首页 > 运维架构 > Linux

linux使用flock文件锁解决脚本重复执行问题

2015-09-29 14:37 691 查看
linux的crontab命令,可以定时执行操作,最小周期是每分钟执行一次。关于crontab实现每秒执行可参考我之前的文章《linux
crontab 实现每秒执行》现在有个问题,如果设定了任务每分钟执行一次,但有可能一分钟内任务并没有执行完成,这时系统会再执行任务。导致两个相同的任务在执行。

例如:

1234567<?// test.phpfor($i=0; $i<300; $i++){ echo date('Y-m-d H:i:s')."\r\n"; sleep(1);}?>
循环300次,每循环一次睡眠1秒。执行完成需要300秒即5分钟。

设置crontab 为每分钟执行

1

*
*
*
*
*
php
/home/fdipzone/php/test.php
>>
/home/fdipzone/php/test.log

2分钟后,使用 ps aux|grep test.php 查看,可以看到有两个test.php进程在执行。

3分钟后,看到有3个test.php进程在执行。

12345678fdipzone@ubuntu:/tmp$ ps aux|grep test.phpfdipzone 2995 0.0 0.0 4220 588 ? Ss 00:28 0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.logfdipzone 2996 0.0 0.8 108328 8564 ? S 00:28 0:00 php /home/fdipzone/php/test.phpfdipzone 3033 0.0 0.0 4220 584 ? Ss 00:29 0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.logfdipzone 3034 0.1 0.8 108328 8564 ? S 00:29 0:00 php /home/fdipzone/php/test.phpfdipzone 3047 0.0 0.0 4220 588 ? Ss 00:30 0:00 /bin/sh -c php /home/fdipzone/php/test.php >> /home/fdipzone/php/test.logfdipzone 3048 1.3 0.8 108328 8560 ? S 00:30 0:00 php /home/fdipzone/php/test.phpfdipzone 3051 0.0 0.1 13148 1068 pts/0 S+ 00:30 0:00 grep --color=auto test.php
我们是希望执行完上一任务,再执行下一任务,如果上一任务未执行完成,则这次的任务不执行,直到下一周期再判断,如果上一任务执行完成,则可以执行下一任务。

改进方法

我们可以使用一个锁文件,来记录任务是否执行中。首先判断/tmp/mytest.lock是否存在,如果不存在,则创建,然后执行任务,任务执行完后删除锁文件。如果锁文件已经存在,则退出这次的任务。

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

<?php

$lockfile
=
'/tmp/mytest.lock';

if(file_exists($lockfile)){

exit();

}else{

file_put_contents($lockfile,
1,
true);

}

for($i=0;
$i<300;
$i++){

echo
date('Y-m-d
H:i:s')."\r\n";

sleep(1);

}

unlink($lockfile);

?>

这样的确可以保证任务执行其间不会有新任务执行,但这样需要在任务文件中写代码做判断,不方便。能不能把任务锁定的判断放在任务以外呢?


使用linux flock 文件锁实现任务锁定,解决冲突

格式:

12flock [-sxun][-w #] fd#flock [-sxon][-w #] file [-c] command
选项

1

2

3

4

5

6

7

8

9

-s,
--shared:
获得一个共享锁

-x,
--exclusive:
获得一个独占锁

-u,
--unlock:
移除一个锁,通常是不需要的,脚本执行完会自动丢弃锁

-n,
--nonblock:
如果没有立即获得锁,直接失败而不是等待

-w,
--timeout:
如果没有立即获得锁,等待指定时间

-o,
--close:
在运行命令前关闭文件的描述符号。用于如果命令产生子进程时会不受锁的管控

-c,
--command:
在shell中运行一个单独的命令

-h,
--help
显示帮助

-V,
--version:
显示版本

继续用回第一个test.php,文件锁使用独占锁,如果锁定则失败不等待。参数为-xn

1

*
*
*
*
*
flock
-xn
/tmp/mytest.lock
-c
'php
/home/fdipzone/php/test.php >> /home/fdipzone/php/test.log'

这样当任务未执行完成,下一任务判断到/tmp/mytest.lock被锁定,则结束当前的任务,下一周期再判断。

知识点:

共享锁(S锁):如果事务T对数据A加上共享锁后,则其他事务只能对A再加共享锁,不能加排他锁。获准共享锁的事务只能读数据,不能修改数据。

排他锁(X锁):如果事务T对数据A加上排他锁后,则其他事务不能再对A加任任何类型的封锁。获准排他锁的事务既能读数据,又能修改数据。
内容来自用户分享和网络整理,不保证内容的准确性,如有侵权内容,可联系管理员处理 点击这里给我发消息
标签: