故障檢測
1.別的先不管，先top看一下cpu、ram、swap哪個比較緊張。
由上圖分析，可以看出共有602個進程，其中有601個進程休眠了。這好像有點不對勁，內核進程也就80個左右，加上memcached, nginx, mysqld，也不會超出90個。除了這些，剩下的只有php-fpm管理的php-cgi，難道是…？
CPU顯示，CPU壓力並不大，可以說沒有壓力。我們再看內存使用概要，發現4G的內存，消耗得所剩余無幾(free+buffers)， 95%以上的內存都已分配。交互空間使用情況，我們暫時不去關心。指令top還列出了占用資源最多的進程，運行時間最久(Time+)的mysqld(約 2小時)占用資源並不是最多。另外，再看php-cgi,單個php-cgi占用的內存也不算多。所以，可以大膽地猜想：服務器內存資源比較緊張，並沒有被某個進程占用大量內存，有可能被某些掛起的進程占着內存沒有釋放。通過free進一步監控內存使用情況，驗證我們的想法。
2.指令free，了解RAM資源使用情況。當然，你也可以查看文件/proc/meminfo
我們先來看Mem統計信息，total表示物理內存總量，約4G。used，表示已分配內存，分配了並不表示使用了，包括 (buffer&cached)。free指未分配的內存,buffers與cached表示分配了但還沒有被使用的內存。第二行 (buffers/cache)的，used表示真正被使用了內存，由第一行的(used-buffer-cached)得到，free則表示還沒有被使用的內存,由第一行的(free+buffer+cached)得到。Swap行則表示內存交換使用情況，少量的(不頻繁地)swpd，是不會影響服務器性能的，因為系統需要將V類型的內存頁面交換出去或者調整了buffer與cached的大小。但是頻繁地swpd，則有可能意味着服務器物理內存不足，小於指定的swap額定值，需要換出內存頁。
查看free結果的時候，我們主要查看第二行。一眼就能看出4G的內存，其中有3898M內存被用了，還有49M內存沒有，都快用完了。這也證實了我們第一步的猜想，內存被用完。這里，我們進一步猜想，內存空間嚴重不足的情況下，進程會被blocked，系統會不斷地將不用的數據換出so，將要用的數據讀入si。我們能通過vmstat進一步驗證，我們的這個猜想。
3.指令vmstat監控內存使用情況
作為對內存監控，我們比較關心swpd、free、si、so。一般系統不繁忙的狀態下，我們看到swpd,so的值不會持續很高，經常為0。這里，我們看到swpd值為1.5G，以及free值很小，再一次表明物理內存不足。其中si報告了每秒從swap區移入到物理內存的內存總量，so報告了每秒從物理內存移出到swap區的內存總量。當然，si有時較大，並不要過份的焦慮，經常碰到一個程序需要較大內存來讀寫媒體文件時，si值就會變大。反倒是 so，它通常是一個內存緊缺的一個信號，如果長時間這個值一直保持較大的話，則很有可能內存不夠，小額波動，可以不用理會。接下來，可以通過ps找出消耗內存的元凶。
4.指令ps找出消耗內存的元凶
[root@localhost ~]# ps -A --sort -rss -o comm,pmem,pcpu |uniq -c |head -15 1 COMMAND %MEM %CPU 1 mysqld 0.6 0.0 503 php-cgi 0.3 0.0 5 php-cgi 0.2 0.0 1 php-cgi 0.1 0.0 1 php-cgi 0.0 0.0 1 memcached 0.0 0.0 1 sshd 0.0 0.0 1 nginx 0.0 0.0 1 sshd 0.0 0.0 1 nginx 0.0 0.0 2 bash 0.0 0.0 3 nginx 0.0 0.0 1 sshd 0.0 0.0 1 nginx 0.0 0.0
指令ps比較常用，也比較簡單。上面報告結果，我們一眼就可以命中php-cgi這個進程。雖然單個php-cgi占用內存並不算太大，但是503 個php-cgi進程，就有點恐怖了。幾乎占盡了全部內存（503*0.3%）。我們可以猜想，php-cgi由php-fpm管理，是不是可以php- fpm的某個參數配置不當，導致打開過多的php-cgi進程。
5. 設置php-fpm進程數量管理
通過重新將php-conf.conf的max_children值設置為150，系統內存又恢復到正常使用情況。free、si、so、b均表示內存系統資源正常，沒有壓力。
php-cgi進程釋放的內存並不會被系統立即回收，一個php-cgi大概占用20kb內存（取決於你加載的php extensions）。所以，有必要限制你啟動的php-cgi進程數量。那么，這個數量多少合適呢，你可以在服務器高峰期通過top統計出php- cgi數量。也可以像php-fpm建議的那樣，通過netstat -np | grep 127.0.0.1:9000來收集數據，通過設置max_children使等待的數量盡量小
6.一個php-cgi占用多少內存
一個php-cgi進程，大概占用多少內存呢，大概是20MB。可以通過pmap指令查看哪些地方占用了內存。所以，盡量不要加載不必要的php擴展模塊，可以減少不必要的內存浪費。
[root@localhost etc]# pmap $(pgrep php-cgi |head -1) 6746: /usr/local/php/bin/php-cgi –fpm –fpm-config /usr/local/php/etc/php-fpm.conf 0000000000400000 6680K r-x– /usr/local/php/bin/php-cgi 0000000000c86000 268K rw— /usr/local/php/bin/php-cgi 0000000000cc9000 56K rw— [ anon ] 0000000005012000 2240K rw— [ anon ] 0000003efd200000 112K r-x– /lib64/ld-2.5.so ……. 00002ac28a7a5000 2048K —– /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/xhprof.so 00002ac28a9a5000 4K rw— /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/xhprof.so 00002ac28a9a6000 84K r-x– /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/apc.so 00002ac28a9bb000 2048K —– /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/apc.so 00002ac28abbb000 8K rw— /usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/apc.so 00002ac28abbd000 32K rw— [ anon ] 00002ac28abd4000 40K r-x– /lib64/libnss_files-2.5.so 00002ac28abde000 2044K —– /lib64/libnss_files-2.5.so 00002ac28addd000 4K r—- /lib64/libnss_files-2.5.so 00002ac28adde000 4K rw— /lib64/libnss_files-2.5.so 00007fffa717e000 84K rw— [ stack ] ffffffffff600000 8192K —– [ anon ] total 154172K
約定幾個目錄
- /usr/local/php/sbin/php-fpm
- /usr/local/php/etc/php-fpm.conf
- /usr/local/php/etc/php.ini
一，php-fpm的啟動參數
|
1
2
3
4
5
6
7
8
9
10
11
12
13
|
#測試php-fpm配置
/usr/local/php/sbin/php-fpm
-t
/usr/local/php/sbin/php-fpm
-c
/usr/local/php/etc/php
.ini -y
/usr/local/php/etc/php-fpm
.conf -t
#啟動php-fpm
/usr/local/php/sbin/php-fpm
/usr/local/php/sbin/php-fpm
-c
/usr/local/php/etc/php
.ini -y
/usr/local/php/etc/php-fpm
.conf
#關閉php-fpm
kill
-INT `
cat
/usr/local/php/var/run/php-fpm
.pid`
#重啟php-fpm
kill
-USR2 `
cat
/usr/local/php/var/run/php-fpm
.pid`
|
二，php-fpm.conf重要參數詳解
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
|
pid = run
/php-fpm
.pid
#pid設置，默認在安裝目錄中的var/run/php-fpm.pid，建議開啟
error_log = log
/php-fpm
.log
#錯誤日志，默認在安裝目錄中的var/log/php-fpm.log
log_level = notice
#錯誤級別. 可用級別為: alert（必須立即處理）, error（錯誤情況）, warning（警告情況）, notice（一般重要信息）, debug（調試信息）. 默認: notice.
emergency_restart_threshold = 60
emergency_restart_interval = 60s
#表示在emergency_restart_interval所設值內出現SIGSEGV或者SIGBUS錯誤的php-cgi進程數如果超過 emergency_restart_threshold個，php-fpm就會優雅重啟。這兩個選項一般保持默認值。
process_control_timeout = 0
#設置子進程接受主進程復用信號的超時時間. 可用單位: s(秒), m(分), h(小時), 或者 d(天) 默認單位: s(秒). 默認值: 0.
daemonize =
yes
#后台執行fpm,默認值為yes，如果為了調試可以改為no。在FPM中，可以使用不同的設置來運行多個進程池。 這些設置可以針對每個進程池單獨設置。
listen = 127.0.0.1:9000
#fpm監聽端口，即nginx中php處理的地址，一般默認值即可。可用格式為: 'ip:port', 'port', '/path/to/unix/socket'. 每個進程池都需要設置.
listen.backlog = -1
#backlog數，-1表示無限制，由操作系統決定，此行注釋掉就行。backlog含義參考：http://www.3gyou.cc/?p=41
listen.allowed_clients = 127.0.0.1
#允許訪問FastCGI進程的IP，設置any為不限制IP，如果要設置其他主機的nginx也能訪問這台FPM進程，listen處要設置成本地可被訪問的IP。默認值是any。每個地址是用逗號分隔. 如果沒有設置或者為空，則允許任何服務器請求連接
listen.owner = www
listen.group = www
listen.mode = 0666
#unix socket設置選項，如果使用tcp方式訪問，這里注釋即可。
user = www
group = www
#啟動進程的帳戶和組
pm = dynamic
#對於專用服務器，pm可以設置為static。
#如何控制子進程，選項有static和dynamic。如果選擇static，則由pm.max_children指定固定的子進程數。如果選擇dynamic，則由下開參數決定：
pm.max_children
#，子進程最大數
pm.start_servers
#，啟動時的進程數
pm.min_spare_servers
#，保證空閑進程數最小值，如果空閑進程小於此值，則創建新的子進程
pm.max_spare_servers
#，保證空閑進程數最大值，如果空閑進程大於此值，此進行清理
pm.max_requests = 1000
#設置每個子進程重生之前服務的請求數. 對於可能存在內存泄漏的第三方模塊來說是非常有用的. 如果設置為 '0' 則一直接受請求. 等同於 PHP_FCGI_MAX_REQUESTS 環境變量. 默認值: 0.
pm.status_path =
/status
#FPM狀態頁面的網址. 如果沒有設置, 則無法訪問狀態頁面. 默認值: none. munin監控會使用到
ping
.path =
/ping
#FPM監控頁面的ping網址. 如果沒有設置, 則無法訪問ping頁面. 該頁面用於外部檢測FPM是否存活並且可以響應請求. 請注意必須以斜線開頭 (/)。
ping
.response = pong
#用於定義ping請求的返回相應. 返回為 HTTP 200 的 text/plain 格式文本. 默認值: pong.
request_terminate_timeout = 0
#設置單個請求的超時中止時間. 該選項可能會對php.ini設置中的'max_execution_time'因為某些特殊原因沒有中止運行的腳本有用. 設置為 '0' 表示 'Off'.當經常出現502錯誤時可以嘗試更改此選項。
request_slowlog_timeout = 10s
#當一個請求該設置的超時時間后，就會將對應的PHP調用堆棧信息完整寫入到慢日志中. 設置為 '0' 表示 'Off'
slowlog = log/$pool.log.slow
#慢請求的記錄日志,配合request_slowlog_timeout使用
rlimit_files = 1024
#設置文件打開描述符的rlimit限制. 默認值: 系統定義值默認可打開句柄是1024，可使用 ulimit -n查看，ulimit -n 2048修改。
rlimit_core = 0
#設置核心rlimit最大限制值. 可用值: 'unlimited' 、0或者正整數. 默認值: 系統定義值.
chroot =
#啟動時的Chroot目錄. 所定義的目錄需要是絕對路徑. 如果沒有設置, 則chroot不被使用.
chdir =
#設置啟動目錄，啟動時會自動Chdir到該目錄. 所定義的目錄需要是絕對路徑. 默認值: 當前目錄，或者/目錄（chroot時）
catch_workers_output =
yes
#重定向運行過程中的stdout和stderr到主要的錯誤日志文件中. 如果沒有設置, stdout 和 stderr 將會根據FastCGI的規則被重定向到 /dev/null . 默認值: 空.
|
三，常見錯誤及解決辦法整理
1,request_terminate_timeout引起的資源問題
request_terminate_timeout的值如果設置為0或者過長的時間，可能會引起file_get_contents的資源問題。
如果file_get_contents請求的遠程資源如果反應過慢，file_get_contents就會一直卡在那里不會超時。我們知道php.ini 里面max_execution_time 可以設置 PHP 腳本的最大執行時間，但是，在 php-cgi(php-fpm) 中，該參數不會起效。真正能夠控制 PHP 腳本最大執行時間的是 php-fpm.conf 配置文件中的request_terminate_timeout參數。
request_terminate_timeout默認值為 0 秒，也就是說，PHP 腳本會一直執行下去。這樣，當所有的 php-cgi 進程都卡在 file_get_contents() 函數時，這台 Nginx+PHP 的 WebServer 已經無法再處理新的 PHP 請求了，Nginx 將給用戶返回“502 Bad Gateway”。修改該參數，設置一個 PHP 腳本最大執行時間是必要的，但是，治標不治本。例如改成 30s，如果發生 file_get_contents() 獲取網頁內容較慢的情況，這就意味着 150 個 php-cgi 進程，每秒鍾只能處理 5 個請求，WebServer 同樣很難避免”502 Bad Gateway”。解決辦法是request_terminate_timeout設置為10s或者一個合理的值，或者給file_get_contents加一個超時參數。
|
1
2
3
4
5
6
7
|
$ctx
= stream_context_create(
array
(
'http'
=>
array
(
'timeout'
=> 10
//設置一個超時時間，單位為秒
)
));
file_get_contents
(
$str
, 0,
$ctx
);
|
2,max_requests參數配置不當，可能會引起間歇性502錯誤：
|
1
|
pm.max_requests = 1000
|
設置每個子進程重生之前服務的請求數. 對於可能存在內存泄漏的第三方模塊來說是非常有用的. 如果設置為 ’0′ 則一直接受請求. 等同於 PHP_FCGI_MAX_REQUESTS 環境變量. 默認值: 0.
這段配置的意思是，當一個 PHP-CGI 進程處理的請求數累積到 500 個后，自動重啟該進程。
但是為什么要重啟進程呢？
一般在項目中，我們多多少少都會用到一些 PHP 的第三方庫，這些第三方庫經常存在內存泄漏問題，如果不定期重啟 PHP-CGI 進程，勢必造成內存使用量不斷增長。因此 PHP-FPM 作為 PHP-CGI 的管理器，提供了這么一項監控功能，對請求達到指定次數的 PHP-CGI 進程進行重啟，保證內存使用量不增長。
正是因為這個機制，在高並發的站點中，經常導致 502 錯誤，我猜測原因是 PHP-FPM 對從 NGINX 過來的請求隊列沒處理好。不過我目前用的還是 PHP 5.3.2，不知道在 PHP 5.3.3 中是否還存在這個問題。
目前我們的解決方法是，把這個值盡量設置大些，盡可能減少 PHP-CGI 重新 SPAWN 的次數，同時也能提高總體性能。在我們自己實際的生產環境中發現，內存泄漏並不明顯，因此我們將這個值設置得非常大（204800）。大家要根據自己的實際情況設置這個值，不能盲目地加大。
話說回來，這套機制目的只為保證 PHP-CGI 不過分地占用內存，為何不通過檢測內存的方式來處理呢？我非常認同高春輝所說的，通過設置進程的峰值內在占用量來重啟 PHP-CGI 進程，會是更好的一個解決方案。
3,php-fpm的慢日志，debug及異常排查神器：
request_slowlog_timeout設置一個超時的參數，slowlog設置慢日志的存放位置
|
1
|
tail
-f
/var/log/www
.slow.log
|
上面的命令即可看到執行過慢的php過程。
大家可以看到經常出現的網絡讀取超過、Mysql查詢過慢的問題，根據提示信息再排查問題就有很明確的方向了。