linux 使用supervisor來管理進程


現在假設一個腳本是,hello.py,內容是

fo = open('xx.txt','w')

while 1:

       fo.write('hello world')

        print('hi')

        time.sleep(1)

如果使用python hello.py那么控制台一直print hi,會干不了其它活,必須再xshell開個窗口。如果 ctrl +c ,那程序直接結束了。

使它在后台工作可以結尾加個 &,但這樣把xshell窗口關了,就結束了,可以看看記事本有沒有新增就證明這個了。這時候還會在前面加個nohup,所以全部命令是 nohup python hello.py &,這樣才行。

 

nohup會記錄程序的log日志,普通的print不會去記錄,如果不重定向日志輸出,默認是當前文件夾下面生成了一個nohup.out,這個隨時間越來越大,往一個大文件里面讀寫東西勢必會慢,而且可能搞滿磁盤,查了下需要一段shell腳本來搞這個,很麻煩。

 

還有我要結束這個hello.py怎么辦,要去 ps -ef |grep 。。。。,然后kill,要再重啟則需要再一次輸入nohup python hello.py &,命令越長越麻煩,當然也可以把命令寫到shell腳本來減少輸入,但管理起進程來還是麻煩了點。

 

supervisor正好用到,

supervisord -c  xxx.conf啟動,如果單獨的supervisor那就是默認使用etc/supervisor.conf這個配置了

在etc/supervisor.conf添加程序配置,但是這樣十分不太好,配置文件會變得越來越長,

 

把最下面的include注釋取消掉,每個項目使用單獨的配置文件,supervisorconfig文件夾下面有兩個項目配置文件,*.ini可以包含這兩個。

 

[program:automobile]
command=/root/miniconda3/bin/uwsgi --ini uwsgib.ini ; 程序啟動命令
directory=/root/xxxx/automobile
autostart=True ; 在supervisord啟動的時候也自動啟動
startsecs=10 ; 啟動10秒后沒有異常退出,就表示進程正常啟動了,默認為1秒
autorestart=true ; 程序退出后自動重啟,可選值:[unexpected,true,false],默認為unexpected,表示進程意外殺死后才重啟
startretries=3 ; 啟動失敗自動重試次數,默認是3
user=root ; 用哪個用戶啟動進程,默認是root
priority=999 ; 進程啟動優先級,默認999,值小的優先啟動
redirect_stderr=true ; 把stderr重定向到stdout,默認false
stdout_logfile_maxbytes=20MB ; stdout 日志文件大小,默認50MB
stdout_logfile_backups = 20 ; stdout 日志文件備份數,默認是10
; stdout 日志文件,需要注意當指定目錄不存在時無法正常啟動,所以需要手動創建目錄(supervisord 會自動創建日志文件)
stdout_logfile=/root/yangdefeng/touna/automobile/logs/automobile.out
loglevel=debug ;loglevel 指定了日志的級別,用 Python 的 print 語句輸出的日志是不會被記錄到日志文件中的,需要搭配 Python 的 logging 模塊來輸出有指定級別的日志。
stopasgroup=true ;默認為false,進程被殺死時,是否向這個進程組發送stop信號,包括子進程
killasgroup=true ;默認為false,向進程組發送kill信號,包括子進程


另一個文件,這次開兩個一模一樣的進程。
[program:daili]
command=/root/miniconda3/envs/py27/bin/python dailiip.py ; 程序啟動命令
directory=/root/xxx/代理ip獲取
numprocs=2 ;默認為1,; 若 numprocs 不為1,process_name 的表達式中一定要包含 process_num 來區分不同的進程
process_name=%(program_name)s_%(process_num)02d
autostart=false ; 在supervisord啟動的時候也自動啟動
startsecs=10 ; 啟動10秒后沒有異常退出,就表示進程正常啟動了,默認為1秒
autorestart=true ; 程序退出后自動重啟,可選值:[unexpected,true,false],默認為unexpected,表示進程意外殺死后才重啟
startretries=3 ; 啟動失敗自動重試次數,默認是3
user=root ; 用哪個用戶啟動進程,默認是root
priority=999 ; 進程啟動優先級,默認999,值小的優先啟動
redirect_stderr=true ; 把stderr重定向到stdout,默認false
stdout_logfile_maxbytes=20MB ; stdout 日志文件大小,默認50MB
stdout_logfile_backups = 20 ; stdout 日志文件備份數,默認是10
; stdout 日志文件,需要注意當指定目錄不存在時無法正常啟動,所以需要手動創建目錄(supervisord 會自動創建日志文件)
stdout_logfile=/root/yangdefeng/touna/代理ip獲取/logs/daili.out
loglevel=debug ;loglevel 指定了日志的級別,用 Python 的 print 語句輸出的日志是不會被記錄到日志文件中的,需要搭配 Python 的 logging 模塊來輸出有指定級別的日志。
stopasgroup=false ;默認為false,進程被殺死時,是否向這個進程組發送stop信號,包括子進程
killasgroup=false ;默認為false,向進程組發送kill信號,包括子進程

比如我分布式爬蟲,先開兩個一模一樣的進程,當然可以在py中用multiprocessing弄出兩個進程來,也可以把腳本運行兩次不就是兩個進程嗎。
那么可以指定numprocs=2,nmprocess大於1的時候,一定要設置process_name=%(program_name)s_%(process_num)02d,后面的格式名字隨便,總之要能分辨出來是兩個嘛,不然supervisorctl start programe時候怎么知道啟動什么進程。如果不設置程序名啟動supervisord服務時候會報錯的。


使用supervisorctl進入supervisor客戶單管理
start xx
stop xx 來啟動和停止程序。

reload update在配置修改需要生效時候可以使用。



也可以開啟web服務來管理程序,在配置中需要把注釋去掉;

 

輸入linux的地址加上9001端口,使用賬號和密碼登錄后就能看到程序狀態了。這上面可以控制清楚的知道,啟動了那些程序,和控制程序的啟動和停止,點擊tail -f可以在web中看到程序的日志信息了,不用去xshell中去用tali -f查看了。

 
        

 

 

很方便的東西,可以用來管理python和非python程序。順便輕松解決了nohup的日志大小切割問題。



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM