原文地址:還沒找到
是一個web系統,前端使用nginx做為反向代理,處理https,並將請求轉發給后端的tomcat服務。
壓力測試工具選擇了jmeter。 首先簡單介紹一下jmeter。 它是apache的一個開源項目,基於java swing開發的GUI界面。
jmeter提供了許多高級的功能,但我們僅僅使用了jmeter最簡單的功能。在簡單的jmeter使用中,我們涉及到這么幾個概念:測試計划,線程組,測試任務,和Listener。看下面的圖:
在一個名為“測試”的測試計划下, 我們建立了一個線程組。 這個線程組可以設置線程數,創建時間(在多長時間內創建出這么多個線程),每個線程任務循環執行次數。 然后為這個線程組指派了一個http請求任務。 這個任務可以指定協議(http或https),服務器, url,參數等。
接下來為這個http請求任務添加了一個aggregate graph類型的listener。 我們需要看最終的測試結果, 這個listener就是為我們記錄並展示結果的。
一切設置就緒之后,點擊主界面上邊的“啟動”按鈕,就可以在aggregate graph中觀看測試結果了。
我們所測試的后端tomcat,執行了一次mysql數據庫的查詢請求,並執行了一次通過http協議請求內網其它服務器的遠程請求。
嘗試着調整並發壓力測試的線程數,發現吞QPS留在600/sec,始終無法提升, 而此時cpu的消耗只有40%左右,顯然cpu還未到瓶頸。 而https處理和這樣的web server,根據經驗瓶頸一般出現在cpu上,為什么cpu還未到達瓶頸,qps就上不去了呢。
接下來我們在nginx的access log中增加了 $request_time這一項, 在tomcat服務中也打了日志觀測執行時間。 發現nginx的時間遠大於tomcat的處理時間。 原來瓶頸點在nginx這里。
嘗試優化一下nginx的參數,第一個看到的是,由於這是一台測試機,nginx采用的大部分配置都是默認設置,worker_processes參數被設置為1. 把這個數字調整為4的時候, QPS提升到了 1200, cpu利用率達到了99%. 看來這個就是這台測試機硬件配置的極限了。
那么單個worker_processes的時候,為什么cpu利用率上不去,java進程尚未充分利用硬件資源,而nginx先到達瓶頸呢? 對比測試一下, 當訪問硬盤上一個靜態html頁面的時候, 單個worker進程qps可以達到9000+。靜態資源和proxy_pass的差別在於讀取本地磁盤文件(可能有內存緩存),和向后端建立socket連接。團隊里的技術大牛通過strace跟蹤了一下,也未找出明顯的問題根源,推測是在向后端建立連接的地方會出現排隊等待現象。
在我們壓測的過程中, 通過netstat命令可以看到有很多nginx向tomcat發起的連接。 這些連接都是短連接,每次用完即關閉。於是想到nginx向后端源服務器能否建立長連接的問題。查看了一下文檔,nginx從1.1.4版本開始,支持proxy_pass的時候向后端源服務器建立長連接。
根據官網的描述,若采用長連接,必須在proxy_pass的時候使用upstream的方式, 直接把后端源寫在proxy_pass后邊是不行的。 具體的配置方式如下:
定義upstream:
upstream lich {
server 127.0.0.1:8081;
keepalive 128;
}
proxy_pass的地方:
proxy_pass http://lich;
proxy_http_version 1.1;
proxy_set_header Connection "";
官方文檔在這里:http://nginx.org/en/docs/http/ngx_http_upstream_module.html
官方文檔中說:proxy_http_version和proxy_set_header這兩個配置是需要加上的。
不建議使用http 1.0通過Connection:Keep-Alive的方式。
配置完成之后重新測試,qps略微有一點提升。 但並不明顯。 為了驗證長連接是否生效, 同樣通過 netstat命令查看連接。 發現連接到后端8081端口的nginx開啟的臨時端口不停的發生變化, 這證明了仍然是在采用短鏈接的方式。 那么是誰先關閉連接的呢。
通過tcpdump抓包發現, 首先發出 Fin 包的是tomcat。 也就是說, tomcat主動關閉的連接。
原來在tomcat的配置文件中, 有關於keepalive的幾個參數。 包括每一個連接完成多少個http請求之后就關閉等。 詳細的參數可以參見tomcat的文檔。詳細的文檔應該看這里:https://tomcat.apache.org/tomcat-7.0-doc/config/http.html
對tomcat的connector進行了一些調整(包括maxKeepAliveRequests和keepAliveTimeout兩個參數,都設置成-1)之后, 再看連接,已經不會頻繁斷開並重建了。 QPS也提升到了900+.
盡管如此, nginx仍然是瓶頸,worker_processes設置為4個的時候,cpu可以利用到100%, QPS可以達到1200.
最后再做一個對比, 當jmeter繞過nginx,不走https而直接訪問http的端口8081時,qps可以達到1500+。對比一下,對https的開銷大概有個概念。