Jmeter+maven+Jenkins構建雲性能測試平台(一)

最近在利用Jmeter來做一套自動化性能測試框架，做自動化性能測試框架的目的 是希望能夠針對系統做一個benchmark的性能測試，能夠快速的在每個版本發布后，對該版本進行benchmark性能測試，以比較與上一個版本的性 能是否發生變化，若發生變化便可以快速的通知開發人員以確定性能發生變化的模塊或者代碼。同時測試或者開發可以上傳性能測試腳本到測試平台,測試平台接到 測試腳本后就可以進行性能測試並返回測試結果.基於這一點的考慮是,一般的測試工程師(特別想功能測試工程師)和開發工程師可能沒有相關的性能測試環境供 他們使用,因此建立這樣的平台就是希望能夠讓每個人都能快速的進行性能測試,而不需要關注性能測試環境(往往配置一個性能環境可能需要很長的時候).

1.框架簡要介紹

選擇Jmeter來搭建這樣一個平台是基於Jmeter本身的Open source, 並且是用純JAVA開發的測試工具，方便與其他的工具的集成和擴展。最重要的是，你可以看到源碼。

這套框架基本的執行流程和邏輯其實很簡單，利用Jenkins的CI功能，實時檢查腳本庫，若有變更便調用JMeter來執行腳本，並將測試結果通過郵件或其他方式通知相關人員。主要邏輯圖如下所示：

2. Maven執行Jmeter

MAVEN是一個非常優秀的項目管理工具，關於Maven和Ant的主要區別可以去網上查詢，我們在這里主要介紹一下用MAVEN如何去運行 JMeter， JMeter支持多種運行方式，有GUI方式和NONGUI方式，各有優勢，我們在自動化性能測試平台的搭建中采用NonGUI方式來運行測試腳 本，NonGuI方式其實也就是通過Command命令來運行，那么如何通過Maven來調用呢，不用慌張，已經有Jmeter-maven- plugin這樣一個Maven插件來運行Jmeter了，如果看過Jmeter源碼的話，可以看到在Jmeter中有這樣一個Class，叫做 NewDriver.class，這個類是Jmeter的入口，我們可以看一下這個類的Main方法：

看到try模塊中的最后幾行可以看到，通過Java反射機制，JMeter.start()方法被調用到，並且將相關的參數傳遞給該方法。因此我們 可以想象到JMeter-maven插件中肯定也是通過調用這個方法來啟動JMeter的，我們來看一下JMeter-maven-plugin這個插件 （關於如何開發maven插件在這里不具體講，可以參考網上資料）中的主要調用代碼：

重點參考TestManager這個類，這個類是主要用來啟動Jmeter的，我們可以參考這個類中的executeSingleTest(File test)這個方法：

這個方法驗證了我們剛才這個猜想。在完成通過MAVEN啟動Jmeter的分析過后，我們所要做的事情就是如何解析Jmeter運行后所得到的測試結果，並將這個測試結果以相關的格式展現出來。

關於如何具體解析Jmeter執行結果將在下篇Blog中具體闡述。

 

Jmeter+maven+Jenkins構建雲性能測試平台(二)

繼上篇Blog，本篇將重點介紹利用Maven並開發插件解析Jmeter生成的 報告，於是就有Jmeter-analysis-maven-plugin這個插件，這個插件是由Aren Franka開發的，但是當你使用這個插件的時候會發現，它只能解析Http request請求的報告，不能解析如Webservice request請求的報告以及其他請求的報告，這是由於這個插件的代碼中存在一個bug，於是自己動手修改了這個bug，因為通過Nongui生成的 Jmeter報告是以.jtl結尾的類似於xml的文件，因此在Jmeter-analysis-maven-plugin這個插件中會采用SAX來解析 報告文件。具體來看一下Jmeter報告文件的格式：

 

<?xml version="1.0" encoding="UTF-8"?> <testResults version="1.2"> <sample t="49" lt="0" ts="1339404299860" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-1" dt="text" by="713"/> <sample t="45" lt="0" ts="1339404301064" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-13" dt="text" by="713"/> <sample t="45" lt="0" ts="1339404301166" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-14" dt="text" by="713"/> <sample t="53" lt="0" ts="1339404301266" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-15" dt="text" by="713"/> <sample t="49" lt="0" ts="1339404301362" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-16" dt="text" by="713"/> <sample t="129" lt="0" ts="1339404301465" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-17" dt="text" by="713"/> <sample t="51" lt="0" ts="1339404301564" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-18" dt="text" by="713"/> <sample t="55" lt="0" ts="1339404301665" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-19" dt="text" by="713"/> <sample t="53" lt="0" ts="1339404301764" s="true" lb="PoscPaymentServiceImplService" rc="200" rm="OK" tn="posc 1-20" dt="text" by="713"/> </testResults>

 

 

這是一個webservice請求所得到的測試結果，所以每個請求都是以sample開始的，如果是http請求的話，會以httpsample開 始，大家可以在我的代碼中看到我用了一個hashset將這兩種element都放在里面，然后通過判斷是否存在相關的element來解析報告，原代碼 中只考慮了http這種情況，不過我已經email給aren，他已經修復了這個bug。下面我們具體看一下每個屬性的含義，其中ts表示每個樣本結束的 Timestamp，s表示請求的狀態，成功為true，失敗為false，lb表示請求的名稱，rc表示請求的response code, rm表示response message，tn表示thread name，dt表示data type, dy表示data byte。通過解析這個xml文本我們可以生成這樣一個請求結果：

通過解析可以得到response time, tps等，還可以生成圖表如下所示：

這個可以看到是請求的表現圖。

Aren在開發Jmeter-analysis-maven-plugin這個插件的時候已經提供了，生成html,cvs, chart幾種方式，我在代碼中增加了一種方式就是將測試結果存入數據庫。

具體大家可以看我后續在github上上傳的代碼。Aren在開發該插件的時候沒有將Tps, VUser這些數據放在報告中，我也在代碼中做了一些修改來展示這些數據。

總而言之使用這個插件可以很方便的來進行性能測試，我們只需要將上一篇blog所提到的關於Jmeter-maven-plugin結合本篇文章所 提到的Jmeter-analysis-maven-plugin結合起來使用便可以方便的構建各種測試場景，我們只需要在pom.xml中進行如下配 置：

 

<plugin> <groupId>${project.groupId}</groupId> <artifactId>jmeter-maven-plugin</artifactId> <version>${project.version}</version> <!-- configure different executions of the plugin --> <executions> <execution> <!-- 1) first test run warms up the webserver. Used to fill caches. With a different set of properties since it runs much shorter than a normal test and also the rate of requests/second may be much lower. Maybe also use a different URL set. --> <id>warmup</id> <phase>integration-test</phase> <goals> <goal>jmeter</goal> </goals> <configuration> <propertiesUser> <!--Accesses urls for warmup (compiles JSPs, fills caches, ...)--> <threadgroup00.name>warmup</threadgroup00.name> <!--number of threads to use--> <threadgroup00.numberOfThreads>1</threadgroup00.numberOfThreads> <!--delay of the test in seconds--> <threadgroup00.scheduledDelay>0</threadgroup00.scheduledDelay> <!--duration of the test in seconds--> <threadgroup00.scheduledDuration>30</threadgroup00.scheduledDuration> <!--how long till all threads are up and running in seconds--> <threadgroup00.rampUp>1</threadgroup00.rampUp> <!--target throughput of all threads of the group per minute--> <!-- <threadgroup00.throughput>100000000</threadgroup00.throughput>--> <!-- use uris from given file --> <!-- <threadgroup00.dataFile>${webapp.uris}</threadgroup00.dataFile> --> </propertiesUser> </configuration> </execution> <execution> <!-- 2) Performance test --> <id>test</id> <phase>integration-test</phase> <goals> <goal>jmeter</goal> </goals> <configuration> <propertiesUser> <!--A user which accesses all URLs--> <threadgroup00.name>posc</threadgroup00.name> <!--number of threads to use--> <threadgroup00.numberOfThreads>30</threadgroup00.numberOfThreads> <!--number of loops--> <threadgroup00.numberOfLoops>2</threadgroup00.numberOfLoops> <!--delay of the test in seconds--> <threadgroup00.scheduledDelay>0</threadgroup00.scheduledDelay> <!--duration of the test in seconds--> <threadgroup00.scheduledDuration>30</threadgroup00.scheduledDuration> <!--how long till all threads are up and running in seconds--> <threadgroup00.rampUp>2</threadgroup00.rampUp> <!--target throughput of all threads of the group per minute--> <!-- <threadgroup00.throughput>100000000</threadgroup00.throughput>--> <!-- use uris from given file --> <!-- <threadgroup00.dataFile>${webapp.uris}</threadgroup00.dataFile>--> </propertiesUser> </configuration> </execution> </executions> <!-- general configuration for all executions --> <configuration> <!-- configure which testplans to use --> <testFilesIncluded> <testFilesIncluded>PoscPaymentServiceImplService.jmx</testFilesIncluded> </testFilesIncluded> <!-- protocol, server and port of tested webapp --> <propertiesUser> <protocol>${webapp.protocol}</protocol> <server>${webapp.host}</server> <port>${webapp.port}</port> </propertiesUser> </configuration> </plugin> <plugin> <groupId>${project.groupId}</groupId> <artifactId>jmeter-analysis-maven-plugin</artifactId> <version>${jmeter.analysis.maven.plugin.version}</version> <executions> <execution> <goals> <goal>analyze</goal> </goals> <phase>post-integration-test</phase> <configuration> <!-- source file that contains jmeter result data. Needs to be XML format or a GZIPed XML format --> <source>${project.build.directory}/jmeter/results/PoscPaymentServiceImplService-120613.jtl</source> <!-- directory where to store analysis report files. At least a file "summary.txt" will be stored here. --> <targetDirectory>${project.build.directory}/reports</targetDirectory> <!-- Defines groups of requests by URL patterns, e.g. URIs starting with /mock/page are associated with group "pages". All analysis results are If there is no such mapping then the threadgroups from the jmeter.xml are used. --> <!--<requestGroups>--> <!--<test>/en-US/firefox/**</test>--> <!--</requestGroups>--> <!-- If set to true, additional files "<category>-sizes.csv" and "<category>-durations.csv" will be stored. These files contain detailed information for response size and response durations for every URI. --> <generateCSVs>true</generateCSVs> <!-- If set to true, additional chart files "<category>-durations.png" will be created. --> <generateCharts>true</generateCharts> <!-- The database configuration --> <userName>xxx</userName> <passWord>xxx</passWord> <dataBase>xxx</dataBase> <host>xxx.xxx.xxx.xxx:3306</host> <!-- Mapping from resource URL to file name. Every resource will be downloaded and stored in 'targetDirectory' with the given filename. Tokens "_FROM_" and "_TO_" can be used as placeholders. These placeholders will be replaced by timestamps of execution interval (formatted as ISO8601, e.g. '20111216T145509+0100'). --> <!--<remoteResources>--> <!--<property>--> <!--<name>http://yourhost/path?from=_FROM_&amp;to=_TO_</name>--> <!--<value>my_resource.txt</value>--> <!--</property>--> <!--</remoteResources>--> </configuration> </execution> </executions> </plugin>

 

 

 

便可以完成一個測試場景，關於具體每一個element，這里不做詳細解釋，因為在注解中已經寫的很詳細了。關於如何配合CI構建雲測試平台將在下一篇blog中繼續闡述。

 

Jmeter+maven+Jenkins構建雲性能測試平台(三)

繼上篇blog，本篇我們具體討論一下，如何利用Jenkins做持續的性能測 試，前面我們說過因為互聯網軟件發布頻繁，需要做到小步快跑，快速反饋，我們在自動化，接口測試的時候已經能夠做到快速反饋，所以希望性能測試同樣能夠快 速反饋，我們希望的是能夠構建一個雲性能測試平台，這樣能夠讓開發工程師，功能測試工程師都參與到性能測試中來，而不僅僅是由性能測試工程師在功能測試之 后再進行性能測試，總之快速反饋問題是互聯網軟件測試的宗旨。

下面具體談一下我們是如何利用Jenkins來執行性能測試的，關於Jenkins的具體設置不再這里做介紹.

首先我們利用了git來做我們的腳本庫，關於為什么選擇git而不是subversion,大家可以去網上搜一下git和svn的區別。

其次持續性能測試有兩個觸發條件，第一個條件是當開發提交並發布新的版本的時候。第二個條件是性能測試腳本庫腳本發生提交或者更新事件。

最后我們來配置我們的Jenkins build Job:

1.源碼管理：

2.構建觸發器：

3.構建后操作：

第三步解釋一下,jenkins本身有一個Jmeter插件可以用來顯示jmeter的一些執行結果.但是顯示的結果有點粗糙.

以下這個圖是我們自己解析后產生的結果:

從上面兩個圖中可以看到具體性能指標信息.

當然這里還沒有包括服務器性能指標的收集,這個性能指標為的是快速的能夠將一些基本的信息,如TPS，RESPONSE TIME,Standard devitation反饋給開發人員。

開發人員和測試人員可以將自己的測試腳本上傳到腳本庫里面，並在Jenkins里面配置好job，便可以利用Jenkins去調度和執行性能測試，並反饋測試報告。這個過程

類似雲平台，解決了開發工程師和功能測試工程師沒有具體的性能測試環境，也解決了性能測試及時性的問題，將性能測試前置到應用開發的各個階段，而所需要的僅僅是

上傳一個測試腳本，數據在雲端已經幫你准備好。這就是所謂的雲測試平台。

 

TPS這塊的代碼是作者自己加上去的，源碼地址：https://github.com/victorcai0922/JmeterRunner

https://github.com/victorcai0922/JmeterAnalysis

這兩個工程要配合適用因為是有pom互相依賴的，JemterAnalysis有一個缺陷，我的工程中有修復的代碼。