一、supervisor簡介
Supervisor是用Python開發的一套通用的進程管理程序，能將一個普通的命令行進程變為后台daemon，並監控進程狀態，異常退出時能自動重啟。它是通過fork/exec的方式把這些被管理的進程當作supervisor的子進程來啟動，這樣只要在supervisor的配置文件中，把要管理的進程的可執行文件的路徑寫進去即可。也實現當子進程掛掉的時候，父進程可以准確獲取子進程掛掉的信息的，可以選擇是否自己啟動和報警。supervisor還提供了一個功能，可以為supervisord或者每個子進程，設置一個非root的user，這個user就可以管理它對應的進程。
注：本文以centos7為例，supervisor版本3.4.0。
二、supervisor安裝
-
配置好yum源后，可以直接安裝
yum install supervisor -
Debian/Ubuntu可通過apt安裝
apt-get install supervisor -
pip安裝
pip install supervisor -
easy_install安裝
easy_install supervisor
三、supervisor使用
supervisor配置文件：/etc/supervisord.conf
注：supervisor的配置文件默認是不全的，不過在大部分默認的情況下，上面說的基本功能已經滿足。
子進程配置文件路徑：/etc/supervisord.d/
注：默認子進程配置文件為ini格式，可在supervisor主配置文件中修改。
四、配置文件說明
supervisor.conf配置文件說明：
[unix_http_server]
file=/tmp/supervisor.sock ;UNIX socket 文件，supervisorctl 會使用
;chmod=0700 ;socket文件的權限，默認是0700
;chown=nobody:nogroup ;socket文件所屬用戶及組，格式：uid:gid
;[inet_http_server] ;HTTP服務器，提供web管理界面
;port=127.0.0.1:9001 ;Web管理后台運行的IP和端口，如果開放到公網，需要注意安全性
;username=user ;登錄管理后台的用戶名
;password=123 ;登錄管理后台的密碼
[supervisord] ; supervisord 全局配置
logfile=/tmp/supervisord.log ;日志文件路徑，默認是 $CWD/supervisord.log
logfile_maxbytes=50MB ;日志文件大小，超出會rotate，默認 50MB，如果設成0，表示不限制大小
logfile_backups=10 ;日志文件保留備份數量默認10，設為0表示不備份
loglevel=info ;日志級別，默認info，其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件路徑
nodaemon=false ;是否在前台啟動，默認是false，即以 daemon 的方式啟動
minfds=1024 ;可以打開的文件描述符的最小值，默認 1024， 最大為4096
minprocs=200 ;可以打開的進程數的最小值，默認 200
; the below section must remain in the config file for RPC
; (supervisorctl/web interface) to work, additional interfaces may be
; added by defining them in separate rpcinterface: sections
[rpcinterface:supervisor]
supervisor.rpcinterface_factory = supervisor.rpcinterface:make_main_rpcinterface
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ;通過UNIX socket連接supervisord，路徑與unix_http_server部分的file一致
;serverurl=http://127.0.0.1:9001 ; 通過HTTP的方式連接supervisord
;[program:theprogramname] ; 定義一個守護進程 ，比如下面的elasticsearch
;command=/bin/cat ; 啟動程序使用的命令，可以是絕對路徑或者相對路徑
;process_name=%(program_name)s ; 一個python字符串表達式，用來表示supervisor進程啟動的這個的名稱，默認值是%(program_name)s
;numprocs=1 ; Supervisor啟動這個程序的多個實例，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，默認是1
;directory=/tmp ; supervisord在生成子進程的時候會切換到該目錄
;umask=022 ; umask for process (default None)
;priority=999 ; 權重，可以控制程序啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。默認值是999
;autostart=true ; 如果設置為true，當supervisord啟動的時候，進程會自動啟動
;autorestart=true ; 設置為隨 supervisord 重啟而重啟，值可以是false、true、unexpected。false：進程不會自動重啟
;startsecs=10 ; 程序啟動后等待多長時間后才認為程序啟動成功，默認是10秒
;startretries=3 ; supervisord嘗試啟動一個程序時嘗試的次數。默認是3
;exitcodes=0,2 ; 一個預期的退出返回碼，默認是0,2。
;stopsignal=QUIT ; 當收到stop請求的時候，發送信號給程序，默認是TERM信號，也可以是 HUP, INT, QUIT, KILL, USR1, or USR2
;stopwaitsecs=10 ; 在操作系統給supervisord發送SIGCHILD信號時等待的時間
;user=chrism ; 如果supervisord以root運行，則會使用這個設置用戶啟動子程序
;redirect_stderr=true ; 如果設置為true，進程則會把標准錯誤輸出到supervisord后台的標准輸出文件描述符
;stdout_logfile=/a/path ; 把進程的標准輸出寫入文件中，如果stdout_logfile沒有設置或者設置為AUTO，則supervisor會自動選擇一個文件位置
;stdout_logfile_maxbytes=1MB ; 標准輸出log文件達到多少后自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日志文件大小
;stdout_logfile_backups=10 ; 標准輸出日志輪轉備份的數量，默認是10，如果設置為0，則不備份
;stdout_capture_maxbytes=1MB ; 當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
;stdout_events_enabled=false ; 如果設置為true，當進程在寫它的stderr
;stderr_logfile=/a/path ; 把進程的錯誤日志輸出一個文件中，除非redirect_stderr參數被設置為true
;stderr_logfile_maxbytes=1MB ; 錯誤log文件達到多少后自動進行輪轉，單位是KB、MB、GB。如果設置為0則表示不限制日志文件大小
;stderr_logfile_backups=10 ; 錯誤日志輪轉備份的數量，默認是10，如果設置為0，則不備份
;stderr_capture_maxbytes=1MB ; 當進程處於stderr capture mode模式的時候，寫入FIFO隊列的最大bytes值，單位可以是KB、MB、GB
;stderr_events_enabled=false ; 如果設置為true，當進程在寫它的stderr到文件描述符的時候，PROCESS_LOG_STDERR事件會被觸發
;environment=A=1,B=2 ; 一個k/v對的list列表
;serverurl=AUTO ; 是否允許子進程和內部的HTTP服務通訊，如果設置為AUTO，supervisor會自動的構造一個url
# 這個地方是自定義一個守護進程
[program:elasticsearch] ; 定義一個守護進程 elasticsearch
environment=ES_HOME=/usr/local/elasticsearch ; 設置ES_HOME 環境變量
user=elk ; 啟動elasticsearch 的用戶
directory=/usr/local/elasticsearch ; 進入到這個目錄中
command=/usr/local/elasticsearch/bin/elasticsearch ; 執行啟動命令
numprocs=1 ; Supervisor啟動這個程序的多個實例，如果numprocs>1，則process_name的表達式必須包含%(process_num)s，默認是1
autostart=true ; 設置為隨 supervisord 啟動而啟動
autorestart=true ; 設置為隨 supervisord 重啟而重啟
startretries=3 ; 設置elasticsearch 重啟的重試次數
priority=1 ; 權重，可以控制程序啟動和關閉時的順序，權重越低：越早啟動，越晚關閉。默認值是999
;[group:thegroupname] ; 服務組管理，可以將多個服務名寫到這里管理(組名自定義）
;programs=progname1,progname2 ; 上面配置好的服務名，比如elasticsearch,kibana,logstash
;priority=999 ; the relative start priority (default 999)
;包含其它配置文件 一般將每個項目的supervisor文件單獨編寫，並放入到指定目錄下，供這里調取使用
[include]
files = relative/directory/*.ini ;可以指定一個或多個以.ini結束的配置文件
子進程配置文件說明：
給需要管理的子進程(程序)編寫一個配置文件，放在/etc/supervisor.d/目錄下，以.ini作為擴展名（每個進程的配置文件都可以單獨分拆也可以把相關的腳本放一起）。如任意定義一個和腳本相關的項目名稱的選項組（/etc/supervisord.d/test.conf）：
# 項目名
[program:blog]
# /opt/bin/main.py 項目啟動文件所在位置
directory=/opt/bin
# 腳本執行命令
command=/usr/bin/python main.py -port=9200
# 啟動幾個進程
numprocs=1
# 啟動失敗是的最多重試次數
startretries=2
# supervisor啟動的時候是否隨着同時啟動，默認True
autostart=true
# 自動重啟
autorestart=true
# 這個選項是子進程啟動多少秒之后，此時狀態如果是running，則我們認為啟動成功了。默認值為10
startsecs=10
# 腳本運行的用戶身份
user = test
# 日志輸出
stderr_logfile=/tmp/blog_stderr.log
stdout_logfile=/tmp/blog_stdout.log
# 把stderr重定向到stdout，默認 false
redirect_stderr = true
# stdout日志文件大小，默認 50MB
stdout_logfile_maxbytes = 20M
# stdout日志文件備份數
stdout_logfile_backups = 20
[group:blog]
# 服務名
programs=blog
# 優先級 數字越高，優先級越高
priority=999
子進程配置示例：
示例1.
#說明同上
[program:test]
directory=/opt/bin
command=/opt/bin/test
autostart=true
autorestart=false
stderr_logfile=/tmp/test_stderr.log
stdout_logfile=/tmp/test_stdout.log
#user = test
示例2
[program:vadd_vodc]
command=/home/work/.pyenv/versions/3.6/bin/python main.py -debug=True -port=92%(process_num)02d
process_name=%(program_name)s-92%(process_num)02d
numprocs=1
directory=/home/work/online/src/vadd_vodc/
environment=PATH="/home/work/online/bin"
startretries=2
startsecs=5
autostart=yes
autorestart=true
redirect_stderr=true
logfile_maxbytes=100M
stdout_logfile=/data/super_log/vadd_vodc.log
[group:vadd_vodc]
programs=vadd_vodc
priority=999
五、supervisor命令說明
常用命令
supervisorctl status //查看所有進程的狀態
supervisorctl stop es //停止es
supervisorctl start es //啟動es
supervisorctl restart //重啟es
supervisorctl update //配置文件修改后使用該命令加載新的配置
supervisorctl reload //重新啟動配置中的所有程序
注：把es換成all可以管理配置中的所有進程。直接輸入supervisorctl進入supervisorctl的shell交互界面，此時上面的命令不帶supervisorctl可直接使用。
注意事項
使用supervisor進程管理命令之前先啟動supervisord，否則程序報錯。
使用命令supervisord -c /etc/supervisord.conf啟動。
若是centos7：
systemctl start supervisord.service //啟動supervisor並加載默認配置文件
systemctl enable supervisord.service //將supervisor加入開機啟動項
常見問題
- unix:///var/run/supervisor.sock no such file
問題描述：安裝好supervisor沒有開啟服務直接使用supervisorctl報的錯
解決辦法：supervisord -c /etc/supervisord.conf - command中指定的進程已經起來，但supervisor還不斷重啟
問題描述：command中啟動方式為后台啟動，導致識別不到pid，然后不斷重啟，這里使用的是elasticsearch，command指定的是$path/bin/elasticsearch -d
解決辦法：supervisor無法檢測后台啟動進程的pid，而supervisor本身就是后台啟動守護進程，因此不用擔心這個 - 啟動了多個supervisord服務，導致無法正常關閉服務
問題描述：在運行supervisord -c /etc/supervisord.conf之前，直接運行過supervisord -c /etc/supervisord.d/xx.conf導致有些進程被多個superviord管理，無法正常關閉進程。
解決辦法：使用ps -fe | grep supervisord查看所有啟動過的supervisord服務，kill相關的進程。