進程管理工具之supervisor（完整版）*

Supervisor 介紹

Supervisor是用Python開發的一套通用的進程管理程序，能將一個普通的命令行進程變為后台daemon，並監控進程狀態，異常退出時能自動重啟。它是通過fork/exec的方式把這些被管理的進程當作supervisor的子進程來啟動，這樣只要在supervisor的配置文件中，把要管理的進程的可執行文件的路徑寫進去即可。也實現當子進程掛掉的時候，父進程可以准確獲取子進程掛掉的信息的，可以選擇是否自己啟動和報警。

官網

http://supervisord.org/installing.html

終於在Python3下可以正常使用pip安裝了。

由於Supervisor是用Python開發的程序，在安裝前，請確保系統已安裝Python

pip install supervisor

upervisor安裝完成后，會生成三個執行程序： supervisortd、 supervisorctl、e cho_supervisord_conf，分別是supervisor的守護進程服務（用於接收進程管理命令）、客戶端（用於和守護進程通信，發送管理進程的指令）、生成初始配置文件程序。

生成配置文件：

mkdir Supervisor

cd Supervisor/
echo_supervisord_conf > supervisord.conf

配置文件：

[unix_http_server]
file=/tmp/supervisor.sock   ;UNIX socket 文件，supervisorctl會使用其與supervisord通信
;chmod=0700                 ;socket文件的mode，默認是0700
;chown=nobody:nogroup       ;socket文件的owner，格式：uid:gid
 
;[inet_http_server]         ;HTTP服務器，提供web管理界面
;port=127.0.0.1:9001        ;Web管理后台運行的IP和端口，如果開放到公網，需要注意安全性
;username=user              ;登錄管理后台的用戶名
;password=123               ;登錄管理后台的密碼
 
[supervisord]
logfile=/tmp/supervisord.log ;日志文件，默認是 $CWD/supervisord.log
logfile_maxbytes=50MB        ;日志文件大小，超出會rotate，默認 50MB。如果設成0，表示不限制大小
logfile_backups=10           ;日志文件保留備份數量默認10，設為0表示不備份
loglevel=info                ;日志級別，默認info，其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false               ;是否在前台啟動，默認是false，即以 daemon 的方式啟動
minfds=1024                  ;可以打開的文件描述符的最小值，默認 1024
minprocs=200                 ;可以打開的進程數的最小值，默認 200
 
[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ;通過UNIX socket連接supervisord，路徑與unix_http_server部分的file一致
;serverurl=http://127.0.0.1:9001 ; 通過HTTP的方式連接supervisord
 
; [program:xx]是被管理的進程配置參數，xx是進程的名稱
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run  ; 程序啟動命令
autostart=true       ; 在supervisord啟動的時候也自動啟動
startsecs=10         ; 啟動10秒后沒有異常退出，就表示進程正常啟動了，默認為1秒
autorestart=true     ; 程序退出后自動重啟,可選值：[unexpected,true,false]，默認為unexpected，表示進程意外殺死后才重啟
startretries=3       ; 啟動失敗自動重試次數，默認是3
user=tomcat          ; 用哪個用戶啟動進程，默認是root
priority=999         ; 進程啟動優先級，默認999，值小的優先啟動
redirect_stderr=true ; 把stderr重定向到stdout，默認false
stdout_logfile_maxbytes=20MB  ; stdout 日志文件大小，默認50MB
stdout_logfile_backups = 20   ; stdout 日志文件備份數，默認是10
; stdout 日志文件，需要注意當指定目錄不存在時無法正常啟動，所以需要手動創建目錄（supervisord 會自動創建日志文件）
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false     ;默認為false,進程被殺死時，是否向這個進程組發送stop信號，包括子進程
killasgroup=false     ;默認為false，向進程組發送kill信號，包括子進程
 
;包含其它配置文件
;[include]
;files = relative/directory/*.ini    ;可以指定一個或多個以.ini結束的配置文件

 

配置示例：

[program:flower]
command=/root/python_envs/celery_project/bin/celery -A celery_task.celery flower --address=0.0.0.0 --port=5555 --basic_auth=admin:Zxing.112233             ; the program (relative uses PATH, can take args)
process_name=%(program_name)s ; process_name expr (default %(program_name)s)
numprocs=1                    ; number of processes copies to start (def 1)
directory=/root/python-projects/test-project/celery_project                ; directory to cwd to before exec (def no cwd)
priority=999                  ; the relative start priority (default 999)
autostart=true                ; start at supervisord start (default: true)
startsecs=1                   ; # of secs prog must stay up to be running (def. 1)
startretries=3                ; max # of serial start failures when starting (default 3)
autorestart=unexpected        ; when to restart if exited after running (def: unexpected)
exitcodes=0                   ; 'expected' exit codes used with autorestart (default 0)
redirect_stderr=false          ; redirect proc stderr to stdout (default false)
stdout_logfile=/etc/supervisor/logs/flower_stdout.log        ; stdout log path, NONE for none; default AUTO
stdout_logfile_maxbytes=10MB   ; max # logfile bytes b4 rotation (default 50MB)
stdout_logfile_backups=10     ; # of stdout logfile backups (0 means none, default 10)
stdout_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
stdout_events_enabled=false   ; emit events on stdout writes (default false)
stdout_syslog=false           ; send stdout to syslog with process name (default false)
stderr_logfile=/etc/supervisor/logs/flower_stderr.log        ; stderr log path, NONE for none; default AUTO
stderr_logfile_maxbytes=10MB   ; max # logfile bytes b4 rotation (default 50MB)
stderr_logfile_backups=10     ; # of stderr logfile backups (0 means none, default 10)
stderr_capture_maxbytes=1MB   ; number of bytes in 'capturemode' (default 0)
stderr_syslog=false           ; send stderr to syslog with process name (default false)
user=root

 

 

 

 

配置管理進程

進程管理配置參數，不建議全都寫在s upervisord.conf 文件中，建議每個進程寫一個配置文件，並放在include配置塊中files指定的目錄下，通過include包含進 supervisord.conf 文件中。

修改配置文件：

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# vim supervisord.conf 

# 最后加上
[include]
;files = relative/directory/*.ini
files = /home/user/ITNest/Supervisor/*.ini

# 注意點:一定開啟include

 

啟動Supervisor服務

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisord -c supervisord.conf 

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# tail /tmp/websocket.log 

管理用戶進程

交互終端

supervisord啟動成功后，通過supervisorctl客戶端來管理用戶進程：啟動、停止、重啟。運行supervisorctl命令，會進入supervisor客戶端的交互終端，並會列出當前所管理的所有進程。

輸入 help，可以查看命令列表。如果想看某個命令的作用，運行“help 命令名稱”，如： help stop。 stop daphne 表示停止 daphne進程， stop all 表示停止所有進程

 

 

supervisorctl管理：

命令	說明
help	打印可用操作的列表
help <action>	打印幫助<action>
add <name> [...]	激活進程/組配置中的任何更新
remove <name> [...]	從活動配置中刪除進程/組
update	重新加載配置和添加/刪除必要的，並將重新啟動受影響的程序
update all	重新加載配置和添加/刪除必要的，並將重新啟動受影響的程序
update <gname> [...]	更新特定的組，並將重新啟動受影響的程序
clear <name>	清除進程的日志文件
clear <name> <name>	清除多個進程的日志文件
clear all	清除所有進程的日志文件
fg <process>	連接到前台模式下的進程，按Ctrl+C退出前台
pid	得到主控制器的PID
pid <name>	按名稱獲取單個子進程的PID
pid all	獲取每個子進程的PID，每行一個
reload	重新啟動遠程監控程序
reread	重新加載守護進程的配置文件，無需添加/刪除(無需重新啟動)
restart <name>	重啟進程，注意:Restart不會重新讀取配置文件。對此，請參閱reread和update
restart <gname>:*	重啟組內所有進程，注意:Restart不會重新讀取配置文件。對此，請參閱reread和update
restart <name> <name>	重新啟動多個進程或組，注意:Restart不會重新讀取配置文件。對此，請參閱reread和update
restart all	重啟所有進程，注意:Restart不會重新讀取配置文件。對此，請參閱reread和update
signal
start <name>	啟動進程
start <gname>:*	在一個組中啟動所有進程
start <name> <name>	啟動多個進程或組
start all	開始所有進程
status	獲取所有進程狀態信息
status <name>	按名稱獲取單個進程的狀態
status <name> <name>	獲取多個已命名進程的狀態
stop <name>	停止一個進程
stop <gname>:*	停止組中的所有進程
stop <name> <name>	停止多個進程或組
stop all	停止所有進程
`tail [-f] <name> [stdout	stderr] (default stdout)`	輸出進程日志的最后一部分，例如: tail -f <name>按 Ctrl-C退出。tail -100 <name> 最后100個字節的進程

非交互命令操作：

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisorctl -c supervisord.conf restart
Error: restart requires a process name
restart <name>      Restart a process
restart <gname>:*   Restart all processes in a group
restart <name> <name>   Restart multiple processes or groups
restart all     Restart all processes
Note: restart does not reread config files. For that, see reread and update.
(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisorctl -c Supervisor/supervisord.conf restart all
daphne: stopped
daphne: started

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisorctl -c supervisord.conf stop
(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisorctl -c supervisord.conf start

重啟supervisord服務： 

supervisorctl  reload

 

 

 

 

Web管理界面

出於安全考慮，默認配置沒有開啟web管理界面，需要修改 supervisord.conf 配置文件，以打開http訪權限。

修改配置

將下面的配置

;[inet_http_server]         ; inet (TCP) server disabled by default
;port=127.0.0.1:9001        ; ip_address:port specifier, *:port for all iface
;username=user              ; default is no username (open server)
;password=123               ; default is no password (open server)

修改為：

[inet_http_server]         ; inet (TCP) server disabled by default
port=0.0.0.0:9001        ; ip_address:port specifier, *:port for all iface
username=user              ; default is no username (open server)
password=[e-mail]               ; default is no password (open server)

瀏覽器訪問 IP:9001

 

重啟supervisor服務

(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisorctl shutdown
Shut down
(ITNest) root@PxeCtrlSys:/home/user/ITNest/Supervisor# supervisord -c supervisord.conf 


一鍵搞定：supervisorctl  reload

 

 

設置開機啟動

systemctl daemon-reload       # 重新加載 systemctl配置
systemctl enable supervisord.service  # 設置開機啟動
systemctl disable supervisord.service  # 禁止開機啟動
systemctl is-active supervisord.service  #（僅顯示是否Active)
systemctl list-units --type=service  # 顯示所有已啟動的服務
systemctl is-enabled supervisord.service   驗證一下是否為開機啟動

 

 

 

問題：

1. 

Server requires authentication
error: <class 'xmlrpc.client.ProtocolError'>, <ProtocolError for 127.0.0.1/RPC2: 401 Unauthorized>: file: /data/python_envs/es-service/lib/python3.7/site-packages/supervisor/xmlr
pc.py line: 545

場景：執行命令：supervisorctl shutdown 之后

這是因為開啟了權限驗證導致，可以通過執行supervisorctl 回車輸入用戶名+密碼 進入之后進行shutdown操作

 

 2. 

http://localhost:9001 refused connection

啟動方式： 

supervisorctl -c supervisord.conf

 

服務加入系統：

添加服務配置 vim /lib/systemd/system/supervisor.service

[Unit]
Description=supervisor
After=network.target
 
[Service]
Type=forking
ExecStart=/data/python_envs/es-service/bin/supervisord -c /data/Supervisor/supervisord.conf
ExecStop=/data/python_envs/es-service/bin/supervisorctl $OPTIONS shutdown
ExecReload=/data/python_envs/es-service/bin/supervisorctl $OPTIONS reload
KillMode=process
Restart=on-failure
RestartSec=42s
 
[Install]
WantedBy=multi-user.target

設置文件權限： chmod 766 supservisor.service

 

3. unknown error making dispatchers for

解決：

　　原因是日志文件權限問題， 指定具體輸出文件並設置對應的日志權限即可

 

 

 4. unix:///tmp/supervisor.sock no such file的問題

    今天使用supervisorctl命令，報出以上的錯誤信息， 這是由於linux會定期清理/tmp目錄下的文件導致

    解決：

　　1）修改配置文件

　　　　

vim /etc/supervisord.conf

這里把所有的/tmp路徑改掉，
/tmp/supervisor.sock 改成/var/run/supervisor.sock，
/tmp/supervisord.log 改成 /var/log/supervisor.log，
/tmp/supervisord.pid 改成 /var/run/supervisor.pid

　　2）修改權限

chmod  777 /run
chmod 777 /var/log

　　3) 創建supervisor.sock

touch /var/run/supervisor.sock
chmod 777 /var/run/supervisor.sock

　　4)啟動supervisord,注意停止之前的實例或殺死進程

supervisord -c /etc/supervisord.conf

 

 5.

Error: Cannot open an HTTP server: socket.error reported errno.ENOENT (2)

啟動supervisord服務的時候出現的錯誤

原因：這是因為默認配置中的目錄不存在（我的之前配置的是var/run下的一個supervisord目錄下的文件， 由於服務重啟 目錄被刪除，所以需要首先創建該目錄），配置【unix_http_server】> file配置項

mkdir -p /var/run/supervisord
 
然后執行啟動服務啟動命令即可
supervisord -c /etc/supervisord/supervisord.conf