本文將從負載測試的角度,描述了做一次流暢的5萬用戶並發測試需要做的事情.
你可以在本文的結尾部分看到討論的記錄.
快速的步驟概要
-
編寫你的腳本
-
使用JMeter進行本地測試
-
BlazeMeter沙箱測試
-
使用一個控制台和一個引擎設置Users-per-Engine的數量
-
設置並測試你的集合 (1個控制台和10-14 引擎)
-
使用 Master / Slave 特性來達成你的最大CC目標
步驟一1 : 編寫你的腳本
開始之前,請確定從JMeter的Apache社區jmeter.apache.org 獲得了最新的版本.
你也會要下載這些附加的插件 ,因為它們可以讓你的工作更輕松.
有許多方法可以獲得腳本:
-
使用 BlazeMeter 的 Chrome 擴展 來記錄你的方案
-
使用 JMeter HTTP(S) 測試腳本記錄器 來設置一個代理,那樣你就可以運行你的測試並記錄下所有的東西
-
從頭開始全部手工構建(可能是功能/QA測試)
如果你的腳本是一份記錄的結果(像步驟1&2), 請牢記:
-
你需要改變諸如Username & Password這樣的特定參數,或者你也許會想要設置一個CSV文件,有了里面的值每個用戶就可以是不同的.
-
為了完成諸如“添加到購物車”,“登錄”還有其它這樣的請求,你也許要使用正則表達式,JSON路徑提取器,XPath提取器,來提取諸如Token字符串,表單構建ID還有其它要素
-
保持你的腳本參數化,並使用配置元素,諸如默認HTTP請求,來使得在環境之間切換時你的工作更輕松.
步驟2 : 使用JMeter進行本地測試
在1個線程的1個迭代中使用查看結果樹要素,調試樣本,虛擬樣本還有打開的日志查看器(一些JMeter的錯誤會在里面報告),來調試你的腳本.
遍歷所有的場景(包括True 或者 False的回應) 來確保腳本行為確如預期...
在成功使用一個線程測試之后——將其提高到10分鍾10到20個線程繼續測試:
-
如果你想要每個用戶獨立——是那樣的么?
-
有沒有收到錯誤?
-
如果你在做一個注冊過程,那就看看你的后台 - 賬戶是不是照你的模板創建好了? 它們是不是獨立的呢?
-
從總結報告中,你可以看到對測試的統計 - 它們有點用么? (平均響應時間, 錯誤, 每秒命中率)
一旦你准備好了腳本:
-
通過移除任何調試和虛擬樣本來清理腳本,並刪除你的腳本偵聽器
-
如果你使用了偵聽器(諸如 "將響應保存到一個文件"),請確保你沒有使用任何路徑! , 而如果他是一個偵聽器或者一個CSV數據集配置——請確保你沒有使用你在本地使用的路徑 - 而只要文件名(就好像跟你的腳本在同一個文件夾)
-
如果你使用了自己專有的JAR文件,請確保它也被上傳了.
-
如果你使用了超過一個線程組(不是默認的那個) - 請確保在將其上傳到BlazeMeter之前設置了這個值.
步驟3 : BlazeMeter沙箱測試
如果那時你的第一個測試——你應該溫習一下 這篇 有關如何在BlazeMeter中創建測試的文章.
將沙箱的測試配置設置成,用戶300,1個控制台, 時間50分鍾.
對沙箱進行這樣的配置讓你可以在后台測試你的腳本,並確保上的BlazeMeter的一切都運行完好.
為此,先按下灰色的按鈕: 告訴JMeter引擎我想要完全控制! - 來獲得對你的測試參數的完全控制
通常你將會遇到的問題:
-
防火牆 - 確保你的環境對BlazeMeter的CIDR 列表 (它們會實時更新)開發,並把它們放入白名單中
-
確保你所有的測試文件, 比如: CSVs, JAR, JSON, User.properties 等等.. 都可以使用
-
確保你沒有使用任何路徑
如果仍然有問題,那就看看錯誤日志吧(你應該可以把整個日志都下載下來).
一個沙箱的配置可以是這樣的:
-
引擎: 是能使控制台(1 個控制台 , 0 個引擎)
-
線程: 50-300
-
產能提升: 20 分鍾
-
迭代: 一直測試下去
-
時間: 30-50 分鍾
這可以讓你在產能提升期間獲得足夠多的數據(以防你遇到問題) ,而你將可以對結果進行分析,以確保腳本的執行確如預期.
你應該觀察下Waterfall / WebDriver 選項卡來看看請求是否正常,你不應該在這一點上出任何問題(除非你是故意的).
你應該盯着監控選項卡,觀察期內存和CPU消耗 - 這對你在步驟4中嘗試設置每一個引擎的用戶數量.
步驟4 : 使用1個控制台和1個引擎來設置每個引擎用戶的數量
現在我們可以肯定腳本能在BlazeMeter中完美運行了——我們需要計算出要多少用戶放到一個引擎中.
如果你能用戶沙箱中的數據來做這個決定,那就太棒了!
在這里,我會給出一種不用回頭去查看沙箱測試數據就能計算出這個數的方法.
設置你的測試配置:
-
線程數: 500
-
產能提升: 40 分鍾
-
迭代: 永久
-
時長: 50 分鍾
使用一個控制台和一個引擎.
運行測試並(通過監視選項卡)對你的測試引擎進行監視.
如果你的引擎對於75%的CPI使用率和85%的內存使用率都沒有達到(一次性的峰值可以忽略) 的話:
-
將線程數調整到700在測試一次
-
提交線程的數量直到線程數達到1000或者60%的CPU或內存使用
如果你的引擎過了75%的CPU使用率或者85%的內存使用率(一次性的峰值可以忽略 :
-
看看你第一次達到75%的點,在那個點有多少並發用戶.
-
在運行一次測試, 而不是提高你之前500個用戶數量的產能
-
這一次將產能提升放到真實的測試中(5-15 分鍾是一個好的開始) 並將時長設置為50分鍾.
-
確保整個測試過程中沒有超過75%的CPU使用率或者85%的內存使用率...
為安全起見,你可以把每個引擎的線程數降低10%的.
步驟5:安裝並測試集群
我們現在知道了從一個引擎中我們得到了多少線程,在該章節的最后,我們將會知道一個集群能給我們提供多少用戶。
一個集群是指具有一個控制台(僅有一個)和0-14個引擎的邏輯容器。
即使你可以創建一個使用超過14個引擎的測試案例——但實際上是創建了兩個集群(你可以注意到控制台的數量增加了),並且克隆了你的測試案例……
每個集群具有最多14個引擎,是基於BlazeMeter自己本身的測試,以確保控制台可以控制這14台引擎對新建的大量數據處理的壓力。
所以在這一步驟中,我們會用步驟4種的測試,並且僅僅修改引擎數量,將其增加到14.
將該測試按照最終測試的全部時長運行。當測試在運行時,打開監聽標簽,並且檢驗:
1. 沒有一個引擎超過CPU75%的占有率和內存85%占有率的上限;
2. 定位你的控制台標簽(你可以通過一次點擊Logs Tab->Network Information,查看控制台私有IP地址來找到它的名字)——它不應該達到CPU75%占有率和內存85%占有率的上限。
如果你的控制台達到了該上限——減少引擎數量並重新運行直到控制台在該上限之下。
在這個步驟的最后,你會發現:
1. 每個集群的用戶數量;
2. 每個集群的命中率。
查看Aggretate Table中的其他統計信息,並找到本地結果統計圖來獲得有關你集群吞吐量的更多信息。
步驟 6 : 使用 Master / Slave 特性來達成你的最大CC目標
我們到了最后一步了。
我們知道腳本正在運行,我們也知道一個引擎可以支持多少用戶以及一個集群可以支持多少用戶。
讓我們做一下假設:
-
一個引擎支持500用戶
-
一個集群可以用戶12個引擎
-
我們的目標是5萬用戶測試
因此為了完成這些,我們需要8.3 個集群..
我們可以用8個12台引擎的集群和一個4太引擎的集群 - 但是像下面這樣分散負載應該會更好:
每個集群我們用10台引擎而不是12,那么每個集群可以支持 10*500 = 5K 用戶並且我們需要10個集群來支持5萬用戶。
這樣可以得到如下好處:
-
不用維護兩個不同的測試類型
-
我們可以通過簡單的復制現有集群來增加5K用戶(5K比6K更常見)
-
只要需要我們可以一直增加
現在,我們已經准備好創建最終的5萬用戶級別的Master / Slave測試了:
-
將測試的名稱從"My prod test" 改為"My prod test - slave 1"。
-
我們回到步驟5,將高級測試屬性(Advanced Test Properties)下的Standalone修改為Slave。
-
按保存按鈕——現在我們有了一個Master和9個Slave中的一個。
-
返回你的 "My prod test -slave 1".
-
按復制按鈕
-
接下來重復步驟1-5直到你創建了9個slave。
-
回到你的 "My prod test -salve 9" 並按復制按鈕.
-
將測試的名稱改為 "My prod test -Master".
-
將高級測試屬性(Advanced Test Properties) 下的Slave改為Master。
-
檢查我們剛才創建的所有的Slave(My prod test -salve 1..9)並按保存。
你的5萬用戶級別的Master-Slave測試已經准備好了。通過按master上的開始按鈕來運行10個測試,每個測試5千用戶。
你可以修改任意一個測試(salve或master),讓它們來自不同的區域,有不同的腳本/csv/以及其他文件,使用不同的網絡模擬器,不同的參數等。
你可以在一個叫“Master load results”的master報告中的一個新tab頁中找到生成的聚合結果的報告,你還可以通過打開單個的報告來獨立的查看每一個測試結果。