博客鏈接:http://www.cnblogs.com/zhenghongxin/p/8676565.html
消息隊列處理后台任務帶來的問題
在系統稍微大些的時候,我們經常會用到消息隊列(實現的方式很多種,在后續會講到),比如發郵件,將郵件消息放入隊列待執行,比如發送獎勵等。可以說,我們是構造一個最簡單的先進先出隊列,隊列的一個成員就是一段文本。入消息隊列lpop比較容易,但在取消息隊列rpop的時候,我們可能遇到這樣的問題:
我們無法預知消息隊列何時會有數據產生,所以我們的任務執行程序還需要具備監控消息隊列的能力,也就是一個常駐后台的守護進程。
而PHP在一般情況下是無法常駐內存的,當然有了swoole后,PHP可以常駐內存(可以學習:MixPHP:基於 Swoole 的常駐內存型 PHP 框架),或其他方式來實現常駐內存(workman等),而接下來面對的問題是:
1)當守護進程運行時,Web應用能否與后台守護進程交互,實現開啟/殺死進程的功能以及獲得進程的運行狀態?
2)當我們更改配置時,守護進程能否實時讀取配置而不需要整個重啟?
3)守護進程如果重啟,能否進行平滑的重啟,而不會丟失正在執行的消息隊列?
4)消息隊列的如何取出與意外還原保證消息的完整性?
簡單的php定時任務拉起消費隊列
我們可以寫一個php消費隊列的腳本,利用定時任務,每隔幾分鍾讀取一下消息隊列,執行成功的隊列清除,每隔五分鍾拉起任務。這樣子做的優點:代碼簡單易理解,定時任務容易配置
這樣子做的缺點:
1) 最慢情況下,消息隊列要等5分鍾才會被消費,在某些場景下,這是無法忍受的。
2) 消息隊列很多的情況下,每隔五分鍾,任務被重復拉起,要考慮多種並發,堵塞的情況。當出了問題,如何回滾?突然間進程異常退出,隊列沒有被消費等情況
后台進程與定時任務雙配合
我們可以寫一個php消費隊列的腳本,讓其以后台進程的方式運行,一直在后台默默運行。不斷地等待消息隊列的產生,為了保證這個進程發生意外斷掉,我們需要一個守護進程來守護這個后台進程。
守護進程(Daemon)是運行在后台的一種特殊進程。它獨立於控制終端並且周期性地執行某種任務或等待處理某些發生的事件。顧名思義,它的作用用來守護我們的消息隊列消費進程,它將后台程序變成一種服務,讓服務一直處於運行狀態。當后台程序被kill掉,守護進程會將它重新拉起。
1)守護進程最重要的特性是后台運行。
2)守護進程必須與其運行前的環境隔離開來。這些環境包括未關閉的文件描述符,控制終端,會話和進程組,工作目錄以及文件創建掩模等。這些環境通常是守護進程從執行它的父進程(特別是shell)中繼承下來的。
3)守護進程的啟動方式有其特殊之處。它可以在Linux系統啟動時從啟動腳本/etc/rc.d中啟動,可以由作業規划進程crond啟動,還可以由用戶終端(shell)執行。
簡單的實現來說,用定時任務cron,每五分鍾檢測一下后台進程是否正常運行,如果正常運行,那不作處理,如果后
台進程掛掉,那將它重新拉起。
這是簡單的用cron來做守護任務的例子,很多人也提出了讓php做守護進程的方法:
1)將文件模式的屏蔽字設置為0;
2)fork出子進程,終止父進程(保證創建守護進程的進程不是進程組的組長);
3)調用setsid創建一個新的會話;
4)將當前工作目錄改為根目錄;
5)關閉不需要的文件描述符;
6)忽略SIGCHLD信號。
具體可以看:
如何寫php守護進程(Daemon)http://www.jb51.net/article/77205.htm
此方法步驟繁瑣麻煩,且不易維護,並不推薦這么做
swoole來做守護進程
有朋友的公司用的是swoole來做守護進程,這方面剛開始我們有考慮,最后決定用更加簡單的Supervisor來做
Supervisor
Supervisor是用Python開發的一套通用的進程管理程序,能將一個普通的命令行進程變為后台daemon,並監控進程狀態,異常退出時能自動重啟。它是通過fork/exec的方式把這些被管理的進程當作supervisor的子進程來啟動,這樣只要在supervisor的配置文件中,把要管理的進程的可執行文件的路徑寫進去即可。也實現當子進程掛掉的時候,父進程可以准確獲取子進程掛掉的信息的,可以選擇是否自己啟動和報警。supervisor還提供了一個功能,可以為supervisord或者每個子進程,設置一個非root的user,這個user就可以管理它對應的進程。
安裝
Supervisor是使用python開發的一個進程管工具,安裝和使用都非常簡單。使用 pip 或者 easy_install 安裝會非常方便,自動解決依賴關系。
– sudo pip install supervisor
– sudo easy_install supervisor
supervisor安裝完成后會生成三個執行程序:supervisortd、supervisorctl、echo_supervisord_conf,分別是supervisor的守護進程服務(用於接收進程管理命令)、客戶端(用於和守護進程通信,發送管理進程的指令)、生成初始配置文件程序。
新建個保存配置的目錄:
mkdir /etc/supervisor
用生成配置的命令生成配置查看:
echo_supervisord_conf > /etc/supervisor/supervisord.conf
可以查看 /etc/supervisor/supervisord.conf 下的配置文件
某些配置參數說明:
[unix_http_server]
file=/tmp/supervisor.sock ;UNIX socket 文件,supervisorctl 會使用
;chmod=0700 ;socket文件的mode,默認是0700
;chown=nobody:nogroup ;socket文件的owner,格式:uid:gid;[inet_http_server] ;HTTP服務器,提供web管理界面
;port=127.0.0.1:9001 ;Web管理后台運行的IP和端口,如果開放到公網,需要注意安全性
;username=user ;登錄管理后台的用戶名
;password=123 ;登錄管理后台的密碼[supervisord]
logfile=/tmp/supervisord.log ;日志文件,默認是 $CWD/supervisord.log
logfile_maxbytes=50MB ;日志文件大小,超出會rotate,默認 50MB,如果設成0,表示不限制大小
logfile_backups=10 ;日志文件保留備份數量默認10,設為0表示不備份
loglevel=info ;日志級別,默認info,其它: debug,warn,trace
pidfile=/tmp/supervisord.pid ;pid 文件
nodaemon=false ;是否在前台啟動,默認是false,即以 daemon 的方式啟動
minfds=1024 ;可以打開的文件描述符的最小值,默認 1024
minprocs=200 ;可以打開的進程數的最小值,默認 200[supervisorctl]
serverurl=unix:///tmp/supervisor.sock ;通過UNIX socket連接supervisord,路徑與unix_http_server部分的file一致
;serverurl=http://127.0.0.1:9001 ; 通過HTTP的方式連接supervisord; [program:xx]是被管理的進程配置參數,xx是進程的名稱
[program:xx]
command=/opt/apache-tomcat-8.0.35/bin/catalina.sh run ; 程序啟動命令
autostart=true ; 在supervisord啟動的時候也自動啟動
startsecs=10 ; 啟動10秒后沒有異常退出,就表示進程正常啟動了,默認為1秒
autorestart=true ; 程序退出后自動重啟,可選值:[unexpected,true,false],默認為unexpected,表示進程意外殺死后才重啟
startretries=3 ; 啟動失敗自動重試次數,默認是3
user=tomcat ; 用哪個用戶啟動進程,默認是root
priority=999 ; 進程啟動優先級,默認999,值小的優先啟動
redirect_stderr=true ; 把stderr重定向到stdout,默認false
stdout_logfile_maxbytes=20MB ; stdout 日志文件大小,默認50MB
stdout_logfile_backups = 20 ; stdout 日志文件備份數,默認是10
; stdout 日志文件,需要注意當指定目錄不存在時無法正常啟動,所以需要手動創建目錄(supervisord 會自動創建日志文件)
stdout_logfile=/opt/apache-tomcat-8.0.35/logs/catalina.out
stopasgroup=false ;默認為false,進程被殺死時,是否向這個進程組發送stop信號,包括子進程
killasgroup=false ;默認為false,向進程組發送kill信號,包括子進程;包含其它配置文件
[include]
files = relative/directory/*.ini ;可以指定一個或多個以.ini結束的配置文件
更為具體的配置,我們可以查看:
https://blog.csdn.net/xyang81/article/details/51555473
上面有更為詳細的開機啟動,web管理等各項說明,在此我不列舉了
我本地的簡略配置為:
command=php /phpstudy/www/index.php
stdout_logfile=/tmp/catalina.out
autostart=true
user=root
autorestart=true
startsecs=5
priority=1
stopasgroup=true
killasgroup=true
啟動后,可以嘗試kill掉index.php進程,幾秒內進程都會重新被拉起
*** 值得注意的是:如果你在代碼中,刻意的去退出進程,那supervisor依舊會幫你重新拉起。