https://cloud.tencent.com/developer/article/1458016
2019 年度最佳自動化測試工具
對更快地交付高質量軟件或 “Quality at Speed” 的需求要求組織在敏捷、持續集成 (CI) 和 DevOps 方法中搜索解決方案。測試自動化是這些方面的重要組成部分。最新的世界質量報告 2018-2019 表明，測試自動化是實現 “Quality at Speed” 的最大瓶頸，因為它是成功實施敏捷和DevOps的推動者。
如果沒有好的工具，測試自動化就無法實現; 因為它們決定了自動化的執行方式以及自動化的好處是否可以實現。測試自動化工具是 DevOps 工具鏈中的重要組成部分。應用人工智能和機器學習 (AI/ML) 為測試優化、智能測試生成、執行和報告提供高級功能的當前測試自動化趨勢有所增加。了解哪些工具最適合利用這些趨勢是值得的。
以下是被認為最能解決未來幾年自動化挑戰的頂級測試自動化工具。此列表中包含的工具是從以下標准中選擇的:
- 支持 API 和服務測試
- 提供一些 AI/ML 和分析功能
- 流行和成熟
2019 自動化測試工具前5名
1. Selenium
在測試自動化方面，Selenium是家喻戶曉的。它被認為是 Web 應用程序用戶界面自動化測試的行業標准。根據對測試自動化挑戰的調查，幾乎90%的測試人員正在或曾經在他們的項目中使用Selenium。
對於在編程和腳本編寫方面有經驗和技能的開發人員和測試人員來說，Selenium 提供了許多其他測試自動化工具和框架中看不到的靈活性。用戶可寫測試腳本的很多型動物的語言 (如 Java 、Groovy、Python、 C#、 PHP，Ruby，Perl) 可以在多個系統環境(Windows、Mac、Linux)和瀏覽器(Chrome、Firefox、IE和無頭瀏覽器)上運行。
Selenium最近在 2019年4月發布了它的第一個 alpha 版本的Selenium。Selenium 4 正式版的發布還沒有確定; 但是你可以期待它的發布會帶來許多改進和豐富的功能。
為了有效地使用Selenium，用戶必須具備高級編程技能，並且需要花費大量時間來構建自動化所需的自動化框架和庫。這是Selenium的一個主要缺點，它在像Katlon Studio這樣的集成工具中得到解決。
網站: http://www.seleniumhq.org/
許可證: Open-source
2. Katalon Studio
Katalon Studio 是一個功能強大、全面的自動化解決方案，用於測試 API 、 Web 和移動應用程序。它為這些類型的測試提供了豐富的功能集，並支持包括 Windows 、 macOS 和 Linux 在內的多種平台。
利用Selenium和Appium引擎，Katalon Studio為那些在集成和部署不同框架和庫以使用Selenium和Appium時遇到困難的測試人員，以及那些已經熟悉這些引擎的測試人員，提供了一個獨特的集成環境。
Katalon Studio 被評為 2019年3月 Gartner Peer Insights 客戶對軟件測試自動化的選擇，獲得了 450 多條好評，這再次表明該工具現在是市場上最大的參與者之一。
該工具的亮點包括:
- API / Web 服務、 Web 和移動應用程序（APP）測試自動化的完整功能集合。
- 支持 API 和服務測試的 SOA協議P 和 RESTful規范
- 用於創建測試用例的數百個內置關鍵字
- 支持 BDD Cucumber對測試場景的自然語言
- 可用於自動化測試和探索性測試
- 測試功能可以通過 Katlon Store 上的插件擴展，可以深入查看關於 Katlon 分析的報告
網站: https://www.katalon.com/
許可證: Free
3. UFT
UFT是一個流行的測試桌面、Web和移動應用程序的商業工具。它已經擴展到包含一組用於API測試的良好功能。通過支持被測目標應用程序(AUT)的多個平台，UFT為測試在桌面、Web和移動設備上運行的AUT提供了一個方便的選擇。
UFT 為智能目標檢測、基於圖像的目標檢測和校正提供了多種高級功能。2019年5月，Microfocus 發布了最新版本的 UFT (v14.52)，並提供了新功能和增強功能
支持 API 測試的工具的幾個亮點:
- 用於創建、執行和報告 API 測試的直觀用戶界面
- 支持從WADL文檔生成API測試
- 測試的動作、活動和參數可以在圖中可視化
網站: https://software.microfocus.com/fr-ca/software/uft
許可證: From $3,200 per year(每年 3,200 美元)。
4. TestComplete
TestComplete因其強大而全面的Web、移動和桌面應用程序測試功能而繼續在今年的榜單中。測試人員可以使用JavaScript、VBScript、Python或c++腳本來編寫測試腳本。
與UFT類似，TestComplete也有一個對象識別引擎，可以准確地檢測動態用戶界面元素。此引擎在具有動態且經常更改用戶界面的應用程序中特別有用。
最新的TestComplete 14.0版本包括與Jenkins的本地集成，以加速CI/CD管道，支持web測試組件(如Shadow DOM和自定義元素)，以及支持所有最新的瀏覽器版本和移動平台。
測試人員可以很容易地使用TestComplete的記錄和回放功能，比如Katalon Studio。他們可以在測試步驟中插入檢查點來驗證結果。TestComplete作為SmartBear的一個產品，可以很容易地與SmartBear提供的其他產品集成。
網站: https://smartbear.com/product/testcomplete/overview/
許可證: From $2,399 per user per year(每年2399 美元)。
5. SoapUI
SoapUI不是用於Web或移動應用程序測試的測試自動化工具;但是它可以作為測試API和服務的工具。它是專門為API測試而設計的無頭功能測試工具。
SoapUI同時支持REST和SOAP服務。API自動化測試人員可以使用開源或專業版本。pro edition具有用戶友好的界面和一些高級功能，如斷言向導、表單編輯器和SQL查詢生成器。SoapUI是SmartBear提供的ReadyAPI套件工具。
該工具為API測試提供了相當全面的功能集，具有許多高級功能，包括:
- 使用拖放、點擊可以輕松生成測試
- 使用來自文件和數據庫的數據進行強大的數據驅動測試
- 異步測試
- 可以輕松重用腳本
- 使用RESTful mock創建模擬服務
此外，SoapUI最近將SoapUI Pro的API Explorer特性引入了開源版本，允許開發人員和測試人員立即調試API的響應。
網站: https://www.soapui.org/
許可證: SoapUI被打包並發布在兩個版本中，開源版和專業版。后者起價為每年659美元。
請注意，SoapUI 和 Postman 只是這個列表中幾個頂級 API 測試工具的兩個代表。要了解更多關於這些工具之間的比較，請參考這篇文章。
6. IBM Rational Functional Tester (RFT)
IBM Rational Functional Tester是一個測試自動化工具，用於測試使用不同的語言和技術(如Web、. net、Java、Visual Basic、Siebel、SAP、PowerBuilder、Adobe Flex和Dojo Toolkit)開發的應用程序。它也是一個功能測試和回歸測試的數據驅動測試平台。
IBM Rational Functional Tester是一個測試自動化工具，用於測試使用不同的語言和技術(如Web、.net、Java、Visual Basic、Siebel、SAP、PowerBuilder、Adobe Flex和Dojo Toolkit)開發的應用程序。它也是一個功能測試和回歸測試的數據驅動測試平台
網站: https://en.wikipedia.org/wiki/Rational_Functional_Tester
許可證: 商業
7. Tricentis Tosca
有一些持續的測試平台提供了全面的工具集來支持大多數(如果不是全部的話)測試活動，從測試設計和測試自動化到測試報告和分析。Tricentis Tosca是其中之一。
該工具具有許多特性，例如儀表板、分析、集成和分布式執行，以支持持續集成和DevOps實踐。此外，它還提供了友好的用戶界面和豐富的功能集，用於設計、實現、執行、管理和優化API測試。
該工具的其他一些亮點:
- 可以輕松地集成到 DevOps 流程的關鍵部分
- API測試可以跨瀏覽器、移動設備和平台執行
- 支持多種協議和標准，包括HTTP(s) JMS、AMQP、Rabbit MQ、TIBCO EMS、SOAP、REST和IBM MQ
- 一套良好的測試報告和分析能力
Tricentis聲稱顯著減少回歸測試(從幾周到幾分鍾)。然而，這種說法需要測試團隊仔細驗證。
網站: https://www.tricentis.com/
許可證: 商業
8. Ranorex
Ranorex已經存在多年，為Web、移動、桌面和API測試提供了一套全面和專業的特性。利用其在基於桌面的測試自動化方面的經驗，Ranorex具有高級的UI元素識別、編輯和管理功能。
與Katalon Studio一樣，Ranorex通過友好直觀的GUI、記錄/回放和腳本生成，使測試人員能夠輕松地進行自動化測試。
測試人員可以將 Ranorex 與 Selenium Grid 集成，以支持分布式測試和並行測試執行。
網站: https://www.ranorex.com/
許可證: 附加費用為 690 歐元，高級許可證為 2,290 歐元。
9. Postman
Postman是另一個為API測試而設計的自動化工具。用戶可以將此工具作為瀏覽器擴展或桌面應用程序安裝在Mac、Linux和Windows上。它不僅在API測試自動化測試人員中流行，而且在使用該工具開發和測試API的開發人員中也很流行。實際上，它是一個開發和測試api的開發環境。
工具的一些亮點:
- 用於設計、調試、測試、記錄和發布api的全面特性集
- 友好和易於使用的用戶界面
- 支持自動化和探索性測試
- 接受Swagger和RAML API格式
- 請求和返回信息可以打包並與團隊成員共享
網站: https://www.getpostman.com/
許可證: 商業
10. Apache JMeter
JMeter是一個開源工具，用於測試負載和性能度量——JMeter的兩個特性是眾所周知的。然而，該工具現在也用於API和服務測試，尤其是API性能測試。JMeter是測試自動化的第三大流行工具，25%的受訪者在測試自動化挑戰調查中引用了JMeter。
該工具的亮點包括:
- 輕量級，具有簡單易用的用戶界面
- 測試結果可以重放
- 支持CSV文件設置API參數的值
- 支持與CI工具(如Jenkins)的集成。JMeter通常用作CI和DevOps工具鏈的一部分
網站: https://jmeter.apache.org/
許可證: 開源
總結：
這里列出的排名靠前的工具並不全面;但是它代表了最好的工具，這些工具是成熟的、流行的，並且提供了使用AI/ML來解決組織在“快速交付質量”方面所面臨的挑戰的能力。這個列表還包括一些工具，它們只支持API和服務測試，而這些測試對於成功的敏捷和DevOps轉換是必不可少的。
您選擇的測試工具不僅應該滿足您當前的需求，還應該關注潛在的趨勢和改進。一個好的工具應該支持基本的優化、測試用例和數據生成的自動化、更智能的解決方案和分析。
更多的工具將被引入，因為有增長的機會;即使組織中的測試自動化水平很低，在14%到18%之間(WQR報告)。此外，看到現有和即將出現的工具如何應用AI/ML來解決未來的挑戰將是令人興奮的。API和服務測試也是未來應該進一步發展的趨勢。