关于supervisor 的使用以及配置

首先我个人认为,用python实现的supervisor使用了守护进程这个概念去实现一个包裹进程的概念。

他可以帮助你的进程完成失效重启,日志记录,确保在线,关机自启动等一系列的功能。

当使用supervisor的进程死掉的时候,启动他的守护进程可以帮助你重新完成启动该进程的工作,不必再重复的手动去启这个进程,大大的提升了稳定性。

所以可以这样理解,supervisor进程本身是作为被他启动进程的守护进程存在的,只要他不死,他就能提升进程的稳定性。

说了这么多让我大概谈一下如何使用和如何配置。

首先我是使用的pip 安装的,我这里先介绍使用pip安装的流程和使用的方法。

使用pip install supervisor安装supervisor

然后supervisor会自动被加到etc/local/bin里 然后可以使用两个命令

1. supervisord

2. supervisorctl

我暂时不谈这两个命令的用途继续向前。

我用电脑切换到root权限,使用命令

echo_supervisord_conf > /etc/supervisord.conf

在etc目录下面生成一个supervisord的配置文件,该配置文件可以被用来启动supervisor进程。

那。。道理我都懂,为什么还看到过一些自己写的配置文件呢like this。。

[program:usercenter]
directory = /home/leon/projects/usercenter ; 程序的启动目录
command = gunicorn -c gunicorn.py wsgi:app  ; 启动命令,可以看出与手动在命令行启动的命令是一样的
autostart = true     ; 在 supervisord 启动的时候也自动启动
startsecs = 5        ; 启动 5 秒后没有异常退出,就当作已经正常启动了
autorestart = true   ; 程序异常退出后自动重启
startretries = 3     ; 启动失败自动重试次数,默认是 3
user = leon          ; 用哪个用户启动
redirect_stderr = true  ; 把 stderr 重定向到 stdout,默认 false
stdout_logfile_maxbytes = 20MB  ; stdout 日志文件大小,默认 50MB
stdout_logfile_backups = 20     ; stdout 日志文件备份数
; stdout 日志文件,需要注意当指定目录不存在时无法正常启动,所以需要手动创建目录(supervisord 会自动创建日志文件)
stdout_logfile = /data/logs/usercenter_stdout.log
 
; 可以通过 environment 来添加需要的环境变量,一种常见的用法是修改 PYTHONPATH
; environment=PYTHONPATH=$PYTHONPATH:/path/to/somewhere

这里写了一个app 注意,[program:project-name]

这个是固定名字,告诉supervisor这个program的名字是什么,这个名字会在你使用supervisorctl的时候标识这个项目的名称。

只需要编辑一下我们放在/etc下的supervisord.conf配置文件就行了。

仔细察看配置文件内容不难发现,在最后有一个[include]模块,

在下面依照这种格式,就可以让启动该配置文件的事以后搜索这个路径下面的app一并启动

这里通用配置就在 /etc/supervisord.d/ 下面放各个任务的配置文件

[include]
files = supervisord.d/*.ini

具体配置我这里也贴一个 e.g.

[program:live_room]
directory=/home/work/online/jaina
command=python /home/work/online/jaina/app.py online task redash play_atom_consumer run
autorestart=true
autostart=false
startretries=5
numprocs=30
process_name=live_room-%(process_num)s
#process_name=sync_to_data08mysql
redirect_stderr=true
stdout_logfile=/tmp/live_room.log
stdout_logfile_maxbytes=100MB
stdout_logfile_backups=1
user=work

配置好了之后,让我们来启动他,直接使用命令

supervisord -c /etc/supervisord.conf

supervisord 就可以启动啦!

另外配置文件在我们最上面那一步 

echo_supervisord_conf > /etc/supervisord.conf

都可以用在 /etc/supervisord.conf 里面找到,不管是程序级别的配置,还是整个 supervisor 系统的问题。

每个配置也都有一些简单的注释可以关注一下。

还有另外一种简单的方法,直接使用 apt-get install supervisor 来安装 supervisor 这样配置文件会直接出线在 /etc/supervisor 中

我们只需要配置 etc/supervisor/conf.d/xx.conf 就可以 配置 supervisor了

而且这样还有一个好处是可以直接使用系统service 对supervisor进行开启关闭重启 也可以使用控制台 比较灵活。

记得还有一个命令没有介绍到,那就是supervisorctl顾名思义,就是supervisor的控制台。

输入之后进入控制题啊,然后使用help命令可以轻松看到有哪些命令可以使用。

> status    # 查看程序状态
> stop       # 关闭程序
> start       # 启动程序
> restart    # 重启程序
> reread    # 读取有更新(增加)的配置文件,不会启动新添加的程序
> update    # 重启配置文件修改过的程序

另外可能会在该配置文件里面看到很多以“;” 开头的。这个符号在这里是注释掉的意思。

就这样supervisor就被启动起来了,效果也很明显,用来做什么也很明显,更多参数和高级用法,还是在实践中查询文档实现吧!

------------------------------------------分割线------------------------------------------------

补充一些新遇到的内容。

supervisor 的 command 并不是使用 bash or sh 来执行的,所以有可能无法活使用 bash 支持的一些函数啥的

比如 source ....所以我们先使用 bash -c "source /home/redash/.bashrc && xxxx "就可以达成目标

bash -c "source xxxx && xxxxx"

但是注意如果我们使用 bash -c "source /home/redash/.bashrc && python xxx " 去启动我们程序,我们可能会让 supervisor 的程序将我们的应用拆开成 bash -c "xxxxxx && python xx" and "python xxxx" 作为子进程 like this

supervisor 程序 17672

下面管理了我的主程序 19590 

19590 下面管理了真正在运行的程序 19649

这里就引入了一个问题,如果我直接通过 supervisorctl 杀死了 19590 ,19649 会变成孤儿进程直接被 pid 1 托管,并不会被干掉。这跟我们想要的效果不同。

所以这里要引入两个新的配置参数

stopasgroup=true
killasgroup=true

在杀死和停止 主进程的时候,将 kill 和 stop 命令传播下去,这样就可以顺利结束所有主进程子进程了。

最近由于管理一些权限比较高的应用,都直接使用 root 来启动的 supervisor 遇到了不少坑,在这里记录一下。

supervisor 使用 root 权限运行有很多灵活性,但是也有个不好的地方。

好处:

1. 灵活的用户分配,在 root 权限下面你不仅可以用 root 身份来执行各类任务,也可以使用 user 参数来切换自己的身份,使用 setuid 的方式来执行其他用户的内容。

2. 不仅如此 我们同样可以使用 sudo -i -u 来加载目标项目的环境变量等配置,彻底使用别人的账户来执行相关的任务和应用。

不好的地方:

1. 权限高,可能涉及部署的部分不方便。

2. 配置错误的话影响大,特别是错误写文件改变文件权限等操作会引发糟糕的连锁反应。

所以当我们需要管理很多重要的应用的情况,我们可以放心使用 root 权限去启动 supervisor 然后用对应账户的环境来 run 应用。注意 supervior program user 参数并不能加载环境变量等参数,只是使用 setuid 用应用所属权限去运行目标应用。如果环境没有加载,是无法正确运行的。

如果不想使用 sudo -i -u 命令,也可以添加 environment 来将需要的环境变量添加进去即可。

Reference:

http://www.cnblogs.com/Ray-liang/p/4173923.html  阿里云部署flask+wsgi+nginx详解

https://segmentfault.com/n/1330000004918556  Hello Supervisor

http://www.ttlsa.com/linux/using-supervisor-control-program/  使用supervisor管理进程

https://stackoverflow.com/questions/43076406/why-cant-supervisor-find-command-source

http://supervisord.org/   supervisor 官方文档

原文地址:https://www.cnblogs.com/piperck/p/5380938.html