說 起自動化測試,我想大家都會有個疑問,要不要做自動化測試? 自動化測試給我們帶來的收益是否會超出在建設時所投入的成本,這個嘛別說是我,即便是高手也很難回答,自動化測試的初衷是美好的,而測試工程師往往在實現 過程中花費了很多成本、精力,而最終以失敗告終。 失敗的原因會很多,我總結幾項:
1. 太過依賴測試工具,高估了工具的力量,最終會以失望告終。
2. 項目緊急的情況,為了規避那些多余的環節,干脆人工測試,結果整個鏈路中斷。
3. 研發和測試人員不能很好的交互,如果這兩個角色之間有了一道防火牆,那別說自動化測試了,手工測試也不會有好的效果。測試人員可以把研發想象成自己的女朋友,努力培養相互之間的感情。
4. 自動化測試人員實力被低估而導致的情緒低落,這個問題在所有崗位上都會發生,當然要看領導重視程度了。
5. 資源不夠,公司不舍得資源投入,或者躡手躡腳,那就不要浪費時間了。
6. 太高的期望,過低的回報。
現在國內沒有幾家公司說能玩轉自動化測試的,在看國外那些耳熟能詳的企業像google,Microsoft,它們反而搞得熱火朝天的。可笑的是在微軟中國的測試部門工 作過幾年的測試經理,出來搞個什么《微軟自動化測試體系最佳實踐課程》,就能忽悠國內的那些知名的企業掏錢去聽,我這也不是說他們的東西不好, 只是希望我們自己也能夠重視起來,要知道人家“卓越”體系也是由那些“專業團隊”花了很多的時間和精力才搭建起來的,所以先不說收益如何,即便是為了這一 個美好的初衷,我們也應該去嘗試一下,即使是失敗。
我也做了幾年的測試,但也是最近才開始研究自動化測試的,在工作中多多少少接觸過幾種常見的工具,如silktest和Selenium,搞過測試的應該都聽過,我最近剛剛為現有項目搭建了一個測試框架,為其中的部分模塊編寫了一些測試case,收益還是頗豐的,先說說這兩種工具吧。
SilkTest是商業工具,想使用是需要花錢的,但是有現成的平台和框架,也比較容易學習,可以基於windows,unix平台。ie,firefox(部分)瀏覽器。可以錄制回放,對象識別或者手工編程,也能基於數據驅動,關鍵字驅動等等測試框架。SilkTest里面的語言4test其實是類C(也有Silk4J,用Java寫),編程能力相對較強。
Selenium是免費的,需要有類似ide(如eclipse),原先是thoughtworks的幾個牛人開發的,現在google維護(人都跳槽過去了)。可以基於windows,unix,mac等平台。ie,firefox等瀏覽器。 測試團隊,經費不足,能力很強(Java上面),有對測試平台和環境要求比較高(ie,firefox,safari等等),那么Selenium是很不錯的選擇。
今天我就簡單入個門,先介紹通過junit+selenium+Coverlipse+ant來搭建一整套自動化測試框架,開始之前我先提出幾個問題,請大家根據下面的問題來閱讀本篇文章。
1.如何錄制腳本?
2.如何轉換成junit腳本?
3.如何生成junit日志?
4.如何回放selenium及查看回放日志?
5.如何查看代碼的覆蓋率?
一、工具准備
工具 |
說明 |
下載 |
junit |
JUnit是一個開發源代碼的Java測試框架,用於編寫和運行可重復的測試。 |
|
selenium |
先介紹兩個重要的組件Selenium-IDE來錄制腳本;selenium-rc selenium-remote control縮寫,是使用具體的語言來編寫測試類 |
http://seleniumhq.org/download/
|
Coverlipse |
Coverlipse這個Eclipse插件能夠把JUnit測試的代碼覆蓋直觀化。 |
http://coverlipse.sourceforge.net/download.php
|
Ant |
Ant是一個類似make的工具,大家都已經很熟悉了,這里我們可以利用其中的ant task來生成junit日志 |
http://ant.apache.org/bindownload.cgi
|
二、Junit的安裝
1. Eclipse本身會自帶Junit.jar包,所一般情況下是不需要額外下載junit的。
2. 將junit3的library添加到工程的buildPath中
3. 因為junit的日志是通過Ant來生成的,所以一定要將Junit.jar添加到ant_home里
三、selenium的安裝
1. 安裝seleniumIDE,打開火狐瀏覽器,然后進入工具—>添加附件,搜索seleniumIDE
2. 查詢出對應的IDE后,點擊直接安裝,安裝結束后重啟FireFox,看到下面的菜單說明安裝成功
3. 安裝selenium-rc,先去http://www.openqa.org/selenium/下載selenium包。用命令行來到解壓到文件夾下:d:/autoTesting/selenium-server-standalone-2.0b1.jar目錄下
4. 運行java -jar selenium-server-standalone-2.0b1.jar,啟動selenium server。為了在運行時應用運行的瀏覽器與selenium服務的瀏覽器分開可在其后面加–multiWindow。
5. 在Eclipse創建一個項目,在項目的build path里面加上elenium-server-1.0-beta-1下selenium-server.jar、selenium-java-client-driver-1.0-beta-1下selenium-java-client-driver.jar(這兩個在剛解壓的包里面)和eclipse/plugins/org.junit_3.8.1下junit.jar。
6. 將制定的Jar包導入到工程里,然后你就可以集成並使用相應的API,編寫自己的測試CASE了。
四、Coverlipse的安裝
1. 直接通過Eclipse即可安裝,步驟如下
- In Eclipse, click Help -> Software Updates -> Find and Install.
- In the dialog, select Search for new features to install, then Next.
- In the next step, add a New Remote Site. Name it "Coverlipse update site", the URL is "http://coverlipse.sf.net/update/".
- Press Finish. Eclipse now searches for the Coverlipse feature to install and shows that to you.
2. 配置Coverlipse以獲取代碼覆蓋
3. 一旦單擊了Run,Eclipse會運行Coverlipse並在源代碼(如圖7所示)中嵌入標記,該標記顯示了具有相關JUnit測試的代碼部分
4. Coverlipse生成的具有嵌入類標記的報告
5. 正如您所見,使用Coverlipse Eclipse插件可以更快地確定代碼覆蓋率。例如,這種實時數據功能有助於在將代碼簽入CM系統前更好地進行測試。
五、ANT安裝,eclipse自帶,只需要配置環境變量ant_home即可。
六、創建一個案例
1. 創建一個工程testSelenium安裝下面目錄結構
2. 錄制腳本,打開Firefox瀏覽器,進入selenium IDE菜單
3. 輸入相應錄制的地址,點擊紅色按鈕,開始錄制
4. 將腳本轉換成junit代碼,然后將其拷貝到測試類中做為測試CASE編碼的雛形。
六、如何查看日志,這里日志分兩類:
l Junit日志,通過junit寫的斷言,和標准輸出,這些操作產生的日志記錄。
l Selenium日志,當運行junit腳本時,selenium相關的腳本就會產生回放日志,例如打開界面的url,標准輸入,輸出等信息。
雖然這兩種日志沒有交集,需要分開查看。但一般情況下我們只需要觀察Selenium日志已經足夠用了,與其相比Junit日志更適用於編碼階段。
1. Junit日志,只需要配置腳本build-selenium.xml,如下
<project name="seleniumTest"default="junit" basedir=".">
<propertyenvironment="env" />
<conditionproperty="ia.home" value="${env.IA_HOME}">
<issetproperty="env.IA_HOME" />
</condition>
<propertyname="run.classpath" value="../class">
</property>
<propertyname="run.srcpath" value="../testSelenium">
</property>
<propertyname="test.xml" value="../xml">
</property>
<propertyname="test.report" value="../report">
</property>
<propertyname="lib.dir" value="../lib" />
<pathid="compile.path">
<filesetdir="${lib.dir}">
<includename="junit.jar" />
<includename="ant.jar" />
</fileset>
</path>
<targetname="init">
<deletedir="${run.classpath}" />
<mkdirdir="${run.classpath}" />
<deletedir="${test.report}" />
<mkdirdir="${test.report}" />
<deletedir="${test.xml}" />
<mkdirdir="${test.xml}" />
</target>
<targetname="compile" depends="init">
<javacdestdir="${run.classpath}" srcdir="${run.srcpath}" />
</target>
<targetname="junit" depends="compile">
<junitprintsummary="false">
<classpathpath="${run.classpath}">
<pathrefid="compile.path" />
</classpath>
<formattertype="xml" />
<batchtesttodir="${test.xml}">
<filesetdir="${run.classpath}">
<includename="**/Test*.class" />
<includename="**/*Test.class" />
</fileset>
</batchtest>
</junit>
<junitreporttodir="${test.xml}">
<filesetdir="${test.xml}">
<includename="TEST-*.xml" />
</fileset>
<reportformat="frames" todir="${test.report}" />
</junitreport>
</target>
</project>
2. 運行ant腳本以后,就可以生成相應的junit日志。
- selenium日志
當運行junit腳本時,selenium相關的腳本就會產生回放日志,但默認記錄的東西可讀性太差了,所以我們使用loggingSelenium(http://loggingselenium.sourceforge.net/usage.html) ,可以將每個case可以生成記錄selenium命令的html格式的result了。
4. plugin的下載地址:
5. 安裝方法:只需要將下載的logging-selenium-1.2.jar導入到工程里即可。
6. 編寫代碼如下
@Before
public void setUp() {
finalString resultPath ="absolute-path-to-where-your-result-will-be-written";
finalString resultHtmlFileName = resultPath + File.separator +"result.html";
finalString resultEncoding = "UTF-8"
loggingWriter = LoggingUtils.createWriter(resultHtmlFileName,resultEncoding);
LoggingResultsFormatter htmlFormatter =
newHtmlResultFormatter(loggingWriter, resultEncoding);
htmlFormatter.setScreenShotBaseUri(""); // this is for linkingto the screenshots
htmlFormatter.setAutomaticScreenshotPath(resultPath);
// wrapHttpCommandProcessor from remote-control
LoggingCommandProcessor myProcessor =
new LoggingCommandProcessor(newHttpCommandProcessor(your-configs), htmlFormatter);
selenium= new LoggingDefaultSelenium(myProcessor);
selenium.start();
}
@After
public void tearDown() {
selenium.stop();
try {
if(null != loggingWriter) {
loggingWriter.close();
}
} catch(IOException e) {
//do nothing
}
}
7. 運行成功以后在指定的目錄中生成相應的reports
七
七、框架優勢
1. 記錄測試的過程,所見即是所得,selenium的所有內部程序都是用Javascipt編寫的,比較靈活;
2. 可以通過selenium IDE錄制腳本,腳本可以回放,可以作為junit編碼的雛形;
3. 支持多種操作系統;
4. 支持多種編碼語言。JAVA,.NET, Perl,Python, Ruby
八、框架劣勢
1. selenium的錄制工具只能安裝在firefox瀏覽器上, 如果系統界面不被firefox支持,那就要花費一定的時間去手寫case。 不過最近聽說有一個工具叫360WebTester ,可以支持IE的錄制,而且是國產的評價還不錯,有時間我要研究一下。