定时任务与后台脚本

有些时候,我们需要对于数据进行定时处理或者需要一个程序常驻内存,进行相关任务的处理, 这个时候,就会用到定时任务crontab

1. 定时任务crontab

 crond是linux下用来周期性的执行某种任务或等待处理某些事件的一个守护进程,与windows下的计划任务类似,当安装完成操作系统后,默认会安装此服务工具,并且会自动启动crond进程,crond进程每分钟会定期检查是否有要执行的任务,如果有要执行的任务,则自动执行该任务。

  Linux下的任务调度分为两类,系统任务调度和用户任务调度。

  系统任务调度:系统周期性所要执行的工作,比如写缓存数据到硬盘、日志清理等。在/etc目录下有一个crontab文件,这个就是系统任务调度的配置文件。

第一行SHELL变量指定了系统要使用哪个shell,这里是bash,第二行PATH变量指定了系统执行命令的路径,第三行MAILTO变量指定了crond的任务执行信息将通过电子邮件发送给root用户,如果MAILTO变量的值为空,则表示不发送任务执行信息给用户

用户任务调度:用户定期要执行的工作,比如用户数据备份、定时邮件提醒等。用户可以使用 crontab 工具来定制自己的计划任务。所有用户定义的crontab 文件都被保存在 /var/spool/cron目录中。其文件名与用户名一致。

使用者权限文件:

文件:

/etc/cron.deny

说明:

该文件中所列用户不允许使用crontab命令

在以上各个字段中,还可以使用以下特殊字符:

星号(*):代表所有可能的值,例如month字段如果是星号,则表示在满足其它字段的制约条件后每月都执行该命令操作。

逗号(,):可以用逗号隔开的值指定一个列表范围,例如,“1,2,5,7,8,9”

中杠(-):可以用整数之间的中杠表示一个整数范围,例如“2-6”表示“2,3,4,5,6”

正斜线(/):可以用正斜线指定时间的间隔频率,例如“0-23/2”表示每两小时执行一次。同时正斜线可以和星号一起使用,例如*/10,如果用在minute字段,表示每十分钟执行一次。

crond服务:

  1) 安装

yum install crontabs

  2)常用操作

/sbin/service crond start //启动服务

/sbin/service crond stop //关闭服务

/sbin/service crond restart //重启服务

/sbin/service crond reload //重新载入配置
/sbin/service crond status //查看服务状态

      3)命令参数

-u user:用来设定某个用户的crontab服务,例如,“-u ixdba”表示设定ixdba用户的crontab服务,此参数一般有root用户来运行。

file:file是命令文件的名字,表示将file做为crontab的任务列表文件并载入crontab。如果在命令行中没有指定这个文件,crontab命令将接受标准输入(键盘)上键入的命令,并将它们载入crontab。

-e:编辑某个用户的crontab文件内容。如果不指定用户,则表示编辑当前用户的crontab文件。

-l:显示某个用户的crontab文件内容,如果不指定用户,则表示显示当前用户的crontab文件内容。

-r:从/var/spool/cron目录中删除某个用户的crontab文件,如果不指定用户,则默认删除当前用户的crontab文件。

-i:在删除用户的crontab文件时给确认提示

  4)使用实例

实例1:每1分钟执行一次command
命令:
* * * * * command


实例2:每小时的第3和第15分钟执行
命令:
3,15 * * * * command

 
实例3:在上午8点到11点的第3和第15分钟执行
命令:
3,15 8-11 * * * command

  

  

注意点: 

  1. 脚本中涉及文件路径时写全局路径

  2. 注意清理系统用户的邮件日志

0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1       (错误的重定向必须只能使用 ">&1" 的方式)/dev/null 2>&1”表示先将标准输出重定向到/dev/null,然后将标准错误重定向到标准输出,由于标准输出已经重定向到了/dev/null,因此标准错误也会重定向到/dev/null,这样日志输出问题就解决了

  3. 新创建的cron job,不会马上执行,至少要过2分钟才执行。如果重启cron则马上执行。

  4. 当crontab突然失效时,可以尝试/etc/init.d/crond restart解决问题。或者查看日志看某个job有没有执行/报错tail -f /var/log/cron。

2. 常驻内存脚本

1) 有时候,我们经常想让某个脚本一直运行,可以使用nohup命令

nohup /usr/bin/php /var/www/handler.php >> /tmp/handler.log 2>&1 &

同时最好使用定时任务监控该脚本的执行情况: 例如使用supervisor代替nohup

常见问题:

  1. 例如某脚本要运行30分钟,在crontab里设为每40分钟执行一次,而比较糟的情况是可能该脚本在执行周期内没有完成,接着第二个脚本又开始运行了

使用linux flock 文件锁实现任务锁定,解决冲突

现在把定时任务改为这样(把test.php改为testflock.php,便于查看清晰)

* * * * * flock -xn /tmp/mytest.lock -c 'php /root/testflock.php >> /root/test.log'

等待一会儿,再执行查看进程的命令,多次查看后,会发现始终只有一个 testflock.php 进程

flock说明

使用flock的意义就是每次执行任务时先去获取文件独占锁,成功取到锁,就继续执行,否则放弃执行

例如第一个任务可以取得锁,开始执行,执行完成后,解锁,第二个任务开始时先去取锁,如果第一个任务还没执行完,则取锁失败,不再继续执行任务

这样就防止了运行冲突

上面例子中用到了flock的3个参数

-x, --exclusive: 获得一个独占锁

-n, --nonblock: 如果没有立即获得锁,直接失败而不是等待


-c, --command: 在shell中运行一个单独的命令

  

原文地址:https://www.cnblogs.com/xingxia/p/linux_crontab.html