據了解,案例自動生成功能能大幅度提升用戶編寫用例的效率,並能顯著提升缺陷發現比例。就此,隨行付IRON TEST研發團隊負責人為我們講述了隨行付的自動化測試探索之路,從中可以一窺中國自動化測試研發道路的艱辛歷程。
案例自動生成功能基於全對偶理論
現在測試人員應用IRON TEST零代碼接口測試平台的主要時間花費在測試用例的開發和調試上。為了簡化這部分工作,我們推出了案例自動生成功能。
測試用例智能化生成技術分為三個階段:自動生成、數據驅動和智能生成。本次發布的是自動生成功能,該技術意味着IRON TEST零代碼接口測試平台向智能化測試邁出了第一步。
依據CMMi軟件測試理論,軟件測試活動主要有兩個目的:驗證(Verification)和確認(Validation),也即V&V。其中,驗證是指檢測是否滿足工藝要求和行業標准(Rightly build it),而確認則是確保產品有效支持業務,達到了客戶預期(Build it right)。
在測試用例生成的初級階段,主要應用於相對簡單的驗證活動。在接口測試中,通過組合每個接口的測試數據,即可實現自動化用例生成。
IRON TEST的自動化用例生成理論依據來自全對偶測試(All Pairs)法,目的是通過盡可能少的用例實現盡可能高的覆蓋率,該方法是由《軟件測試經驗與教訓》的作者,測試專家James Bach提出的。
傳統接口測試用例設計方法是正交法,主要問題是測試用例太多,投入產出比極低,在業內鮮有應用。而全對偶測試法,能夠用千分之一的用例數量實現與正交法同等水平的覆蓋率。
全對偶測試法是組合測試的一種提煉,原則就是每個變量的每一個取值都必須與至少一個測試用例中其他變量的取值配對過一次。
我們選擇了一個測試環境的內部系統,進行了對比試驗,由測試人員對該系統進行用例編寫,與自動化生成的用例進行對比。
人工編寫的案例共57條,包括確認部分6條和驗證部分51條。確認部分編寫用時5分鍾,調試用時3分鍾,發現了3個缺陷;驗證部分用時30分鍾,調試用時8分鍾,發現5個缺陷。
自動化生成用例共224條,用時7分鍾,調試用時35分鍾,發現10個缺陷。

IRON TEST零代碼接口測試平台誕生的初衷是幫助企業能夠從現有手工測試團隊向自動化測試混合團隊實現低成本、平滑的過渡。我們希望能夠探索出一條新路,能夠不用建設高成本、高風險的測試開發體系,利用現有的資源實現自動化測試。
我們希望讓測試人員能夠把精力放到業務分析、測試策略設計上,將技術問題和重復工作都交給IRON TEST平台完成,讓測試人員真正體現出自我的價值。
使用地址 www.ironz.com