最近处理一个线程中的函数超时问题.
函数里面有一个地方可能会卡死,我们需要去判断这个是不是卡死了,并做出相应的应对方案.
最开始想的是在函数上增加一个装饰器,使其在超时时抛出异常,然后在其他地方捕获这个异常,并处理.
查询了一些前人的方案,写出的结果有两种.
方案一:使用threading的timer定时器,代码如下:
from threading import timer
def time_limit(interval):
def wraps(func):
def time_out():
raise RuntimeError()
def deco(*args, **kwargs):
timer = Timer(interval, time_out)
timer.start()
res = func(*args, **kwargs)
timer.cancel()
return res
return deco
return wraps
这个程序,在很多网页上看到了,使用方式,在需要监控的函数上写@time_limit(5),即可定时5秒报错.经过测试,觉得没什么用.
粗略看来,运行一下确实在程序超过interval规定的时间后抛出了RuntimeError.但是由于timer是另开的一个线程,所以这个异常别人获取不到,只有在本线程里处理才有用.
而且卡死的函数也不会停下来.
这种处理方式仅仅适用于一些函数与定时并不密切的时候,只是在函数超时时需要做一些动作的情况.
方案二:使用signal信号量机制,代码如下:
import signal
def time_limit(interval):
def wraps(func):
def handler():
raise RuntimeError()
def deco(*args, **kwargs):
signal.signal(signal.SIGALRM, handler)
signal.alarm(interval)
res = func(*args, **kwargs)
signal.alarm(0)
return res
return deco
return wraps
可以看出来,代码基本一样.但是原理大不相同.运行的结果也不一样,这段代码装饰需要定时的函数,在函数运行超时之后会抛出异常,停止程序.
一般情况下,这个装饰器就够用了.与之相同的方案,还有python的timeout模块,
可以直接pip install timeout,然后from timeout import timeout,在需要的函数前@timeout(n)即可.
这个方案已经很不错了,然而在实际应用中,由于是多线程,而signal不能在子线程中使用,所以否认了这个方案.
比较简单的装饰器想法否定掉了,就想了一些其他的办法.
1.定时检测线程是否alive----------卡死的线程只是不动,还是alive的
2.由于函数是生产者,可以通过计算时间,一定时间没有新的产出,则判定这个函数卡死,然后杀掉这个线程,重开一个----------python不支持杀掉线程
3.在线程里面增加标志位,检测标志位改变则退出循环----------天真的想法
4.改变线程为可接受stop的线程----------卡住不动收不到信号的,除非是进程
提出一些方案发现可行性都很低,最后也没有完全解决卡死的问题.
虽然这一个线程卡死并不会影响整个程序往下走,但是不生产,又占据资源不合理.
觉得否认了这些方案以后,最干脆的办法是检测到这个卡死之后,手动或自动杀掉其父进程.重启服务.
还有较不优雅的办法,由于卡死的情况不会很多,就记录下来,然后新开一个线程替代它的工作,直到记录队列满了,给一个信号要求重启服务.
重启服务影响较大,不建议随便重启.
总的说下来,还是没有较好的方案解决线程卡死的问题,毕竟函数卡死了就是卡死了,没法走下去,而且在线程里面又没法外界停下来.
先做一个记录吧!在继续学习的路上,希望有好的办法.