nginx記錄響應與POST請求日志

生產環境中的某些api出現故障，但是問題無法重現，但是又很想解決掉問題以及我們新項目上線，需要跟蹤請求與響應的信息，可以預先找到一些bug，減少大面積的損失。
安裝nginx與ngx_lua
響應日志需要lua的支持，
請參考ttlsa之前的文章《nginx + ngx_lua安裝測試》
備注：安裝過程中，發現nginx-1.9.0版本與ngx_lua不兼容，所以我換成nginx-1.4.2

nginx日志配置

# vim /usr/local/nginx-1.4.2/conf/nginx.conf
....省略一些配置....
log_format main '$remote_addr | $remote_user | [$time_local] | "$request" | '
'$status | $body_bytes_sent | "$http_referer" | '
'"$http_user_agent" | "$http_x_forwarded_for" | "$request_body" | "$resp_body"';
....省略一些配置....

$request_body變量由nginx自身提供，用於記錄POST請求日志
$resp_body變量由我們后面再server中定義，由ngx_lua獲取

nginx虛擬主機配置

server{
listen 80;
server_name www.ttlsa.com;
access_log /data/logs/nginx/www.ttlsa.com.access.log main;

indexindex.htmlindex.phpindex.html;
root/data/site/www.ttlsa.com/;
set$resp_body"";// 這個必須放到最外層，否則日志取不到默認值
location/ttlsa/api
{
// 以下配置可以放到server里面，如此一來，整個server的請求都會記錄到log中
lua_need_request_bodyon;
body_filter_by_lua'
local resp_body = string.sub(ngx.arg[1], 1, 1000)
ngx.ctx.buffered = (ngx.ctx.buffered or"") .. resp_body
if ngx.arg[2] then
ngx.var.resp_body = ngx.ctx.buffered
end
';
//省略一些配置
}

配置完畢之后，所有/ttlsa/api下的請求都會記錄到log中，包含request和response日志

日志結果展示
10.11.11.11 | - | [23/May/2015:11:51:11 +0800] | "POST /ttlsa/api HTTP/1.1" | 200 ~ 519 | "-" | "Apache-HttpClient/4.3.2 (java 1.5)" | "-" | "<xml><appid>10002221</appid><mch_id>78912321</mch_id><device_info>10001</device_info><nonce_str>WhQD62S7mW06uGZb09JHZx78VN6Z9VO7</nonce_str><body>\xE5\xBE\xAE\xE4\xBF\xA1\xE6\x9D\xA1\xE7\xA0\x81\xE6\x94\xAF\xE4\xBB\x98</body><out_trade_no>20150523109755485501108746</out_trade_no><total_fee>20910</total_fee><spbill_create_ip>192.168.1.103</spbill_create_ip><auth_code>130145050921275499</auth_code><sign>8F7C57A99DBA452EFEF685CBE14BE599</sign></xml>" | "<xml><appid>10002221</appid><device_info>10001</device_info><err_code><![CDATA[NOTENOUGH]]></err_code><err_code_des><![CDATA[\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95]]></err_code_des><mch_id>78912321</mch_id><nonce_str><![CDATA[PxPXdLScGOhBZ17O]]></nonce_str><result_code><![CDATA[FAIL]]></result_code><return_code><![CDATA[SUCCESS]]></return_code><return_msg><![CDATA[OK]]></return_msg><sign><![CDATA[F04FE3EEF6B3E1E6962616786A177C22]]></sign></xml>"
以上是某個微信支付項目中的日志，通過根據此日志，可以及早發現問題並且修復。有些人可能有疑問，POST里面的一些內容都是\xE9\x93\xB6\xE8，無法理解。怎么辦呢？繼續往下看

回到《nginx記錄響應與POST請求日志》一問，我們捕獲到了nginx post請求的內容以及響應給用戶的內容，但是我們可以看到\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\類似的內容，不知何意，接下來我們用php把他給解析出來。

日志內容

以下是上篇內容的日志

10.11.11.11 | - | [23/May/2015:11:51:11 +0800] | "POST /ttlsa/api HTTP/1.1" | 200 ~ 519 | "-" | "Apache-HttpClient/4.3.2 (java 1.5)" | "-" | "<xml><appid>10002221</appid><mch_id>78912321</mch_id><device_info>10001</device_info><nonce_str>WhQD62S7mW06uGZb09JHZx78VN6Z9VO7</nonce_str><body>\xE5\xBE\xAE\xE4\xBF\xA1\xE6\x9D\xA1\xE7\xA0\x81\xE6\x94\xAF\xE4\xBB\x98</body><out_trade_no>20150523109755485501108746</out_trade_no><total_fee>20910</total_fee><spbill_create_ip>192.168.1.103</spbill_create_ip><auth_code>130145050921275499</auth_code><sign>8F7C57A99DBA452EFEF685CBE14BE599</sign></xml>" | "<xml><appid>10002221</appid><device_info>10001</device_info><err_code><![CDATA[NOTENOUGH]]></err_code><err_code_des><![CDATA[\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95]]></err_code_des><mch_id>78912321</mch_id><nonce_str><![CDATA[PxPXdLScGOhBZ17O]]></nonce_str><result_code><![CDATA[FAIL]]></result_code><return_code><![CDATA[SUCCESS]]></return_code><return_msg><![CDATA[OK]]></return_msg><sign><![CDATA[F04FE3EEF6B3E1E6962616786A177C22]]></sign></xml>"

我們抓取響應的內容，\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95。

編寫php文件

大體流程，我們通過參數s傳值給php，php首先將\x去掉，將字符串變成完成的十六進制，最后將十六進制轉為中文。

 
                   1 
                 
                   2 
                 
                   3 
                 
                   4 
                 
                   5 
                 
                   6 
                 
                   7 
                 
                   8 
                 
                  <?php 
                 
                  function 
                    
                  hexDecode 
                  ( 
                  $s 
                  ) 
                    
                  { 
                 
                  $s 
                    
                  = 
                    
                  str_replace 
                  ( 
                  '\x' 
                  , 
                  '' 
                  , 
                  $s 
                  ) 
                  ; 
                  //先把\x去掉，變成完整的十六進制 
                 
                  return 
                    
                  preg_replace 
                  ( 
                  '/(\w{2})/e' 
                  , 
                  "chr(hexdec('\\1'))" 
                  , 
                  $s 
                  ) 
                  ; 
                  //十六進制轉為漢字 
                 
                  } 
                 
                  $s 
                    
                  = 
                    
                  $_GET 
                  [ 
                  's' 
                  ] 
                  ; 
                 
                  $hexEncode 
                    
                  =  
                    
                  hexEncode 
                  ( 
                  $s 
                  ) 
                  ; 
                 
                  ?>

測試

網址輸入：http://www.ttlsa.com/t.php?s=\xE9\x93\xB6\xE8\xA1\x8C\xE5\x8D\xA1\xE5\x8F\xAF\xE7\x94\xA8\xE4\xBD\x99\xE9\xA2\x9D\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x88\xE5\xA6\x82\xE4\xBF\xA1\xE7\x94\xA8\xE5\x8D\xA1\xE5\x88\x99\xE4\xB8\xBA\xE5\x8F\xAF\xE9\x80\x8F\xE6\x94\xAF\xE9\xA2\x9D\xE5\xBA\xA6\xE4\xB8\x8D\xE8\xB6\xB3\xEF\xBC\x89\xEF\xBC\x8C\xE8\xAF\xB7\xE6\xA0\xB8\xE5\xAE\x9E\xE5\x90\x8E\xE5\x86\x8D\xE8\xAF\x95

輸出結果如下：

十六進制轉中文