本文首發於 vivo互聯網技術 微信公眾號
鏈接： https://mp.weixin.qq.com/s/ZsgstdmaiFUKkLItc6y-Lw
作者：何彥軍
軟件測試作為軟件生命周期中不可缺少的組成部分，對提高軟件質量起着重要作用。隨着軟件測試的發展，自動化測試技術也得到了很大提高。
本文首先介紹了自動化測試的概念、分類和現狀，並分別對不同端上的自動化測試實現原理進行了詳細地分析和闡述，通過對目前主流的一些自動化測試框架和工具的比較，指出了當前不同端上實施自動化測試的痛點和困難。
最后通過由數據驅動的自動化測試向關鍵詞驅動的自動化測試的探索，進而由傳統模式下的自動化測試轉向基於AI的自動化測試的摸索，對自動化測試的未來進行了展望。
一、自動化測試的概念
自動化測試是把以人為驅動的測試行為轉化為機器執行的一種過程。
二、適用自動化測試的項目特征
三、軟件測試的分類
-
按項目流程：單元測試、集成測試、系統測試、回歸測試、驗收測試
-
按技術：黑盒測試、白盒測試、灰盒測試
-
按功能：邏輯功能測試、界面測試、易用性測試、安裝測試、兼容性測試
-
按性能：時間性能測試、空間性能測試
-
按自動化：功能自動化、性能自動化
項目流程 + 自動化 → 分層測試：unit測試（單元測試）、service測試（接口測試）、UI測試
四、自動化測試的現狀
1、單元測試（極限編程-測試驅動開發），占比70%
（1）對軟件中最小可測試單元進行檢查和驗證
（2）由開發人員編寫，檢驗測試單元的語義是否正確
（3）一般在構建階段執行自動化測試腳本
（4）代表工具：XUnit等
2、接口測試，占比20%
（1）測試系統組件間接口的測試
（2）主要是保證接口的正確和穩定
（3）代表工具：Jmeter、Postman等
3、UI測試，占比10%
（1）驗證布局是否合理、風格是否一致等等
（2）確保UI功能內部的對象符合預期
（3）代表工具：selenium、robot framework等
4、小結
（1）單元測試借助對應語言的測試框架，可以做到在構建時執行測試腳本，難度較小
（2）接口測試通過定義好每個用例的輸入和輸出，借助接口測試工具，也可以實現自動化，難度不大
（3）UI測試更多是與界面渲染相關的，包括元素的位置、大小是否正確，元素內容是否正確等等，主要是對界面渲染后的結果進行測試
五、不同端上的UI自動化測試
要判斷渲染界面是否滿足預期，首先就需要具備操控終端界面的能力，通過定位元素獲取元素的信息與預期結果比較。
注意：這僅僅屬於功能性測試的范疇，如果包括多媒體內容的話，還需要借助其他手段進行比較。
而操控終端界面的能力也隨終端的不同而不同，這里主要是PC端和移動端的區別。
1、PC端：
每個瀏覽器廠商都會提供相應的driver，它們都實現了Selenium定義的WebDriver's wire protocol，通過這個協議可以操控瀏覽器做任何事情！
這個driver會啟動基於這個協議的web服務，實際上就是在一個端口上監聽http請求，根據不同的請求執行不同的操作。
代表框架：
以Selinium為例，實現原理如下：
2、移動端：
與PC端上原理類似，但又有Android與IOS的區別
Android：主要基於UIAutomator和UIAutomator2，更早的可以追溯到instrumentation框架。
（1）instrumentation可以把測試包和目標測試app加載到同一個進程中運行，以此實現對app的控制。
之后封裝形成Selendroid架構
（2）UIAutomator是谷歌在Android4.1版本發布時推出的基於Java編寫的UI測試框架，與Bootstrap配合使用。
其特點是可以跨進程操作，可以獲取屏幕上任意一個app的任意一個控件屬性並對其操作。
但不足的是只能用Java編寫，且測試腳本必須上傳到設備上運行。
（3）UIAutomator2修復了原有版本的bug，還增加了很多新功能
-
設備和開發機可以脫離數據線，通過WiFi互聯（基於atx-agent）
-
集成了openstf/minicap達到實時屏幕投頻，以及實時截圖
-
集成了openstf/minitouch達到精確實時控制設備
-
修復了xiaocong/uiautomator經常性退出的問題
-
代碼進行了重構和精簡，方便維護
-
實現了一個設備管理平台(也支持iOS) atxserver2
IOS：主要基於UIAutomation，Xcode 7之后引入UITesting
（1）通過UIAutomation操作app時，UIAutomation會給app發送WM_GETOBJECT的消息
如果app處理WM_GETOBJECT消息，實現了UIAutomation Provider，並調用了下面的函數，則該app支持UiaReturnRawElementProvider(HWND hwnd, WPARAM wparam, LPARAM lparam, IRawElementProviderSimple *el)
IRawElementProviderSimple就是UIAutomation Provider，包含了控件的各種信息，如Name，ClassName，坐標等。
因此，app想要支持自動化，就必須實現UIAutomation Provider，詳情請參看《UI Automation Client Programmer's Guide》
（2）UITesting是蘋果公司推出，在Xcode 7引入的UI自動化測試框架，其原理利用了IOS的Accessibility
-
Xcode 自帶，不需要搭建環境
-
支持 OC、Swift，學習成本低
-
支持 WebView 測試
-
穩定性好
六、常用的移動端自動化測試框架
下圖列舉了一部分測試框架在一些指標上的表現，除了這些，還有Robot framework、阿里的macaca框架等也可考慮。
七、移動端自動化測試的具體實現
一千個嘴把式，不如lai個手把式！
下面這一段自動化測試腳本代碼基於Appium實現了在app里截屏的功能：
當然，除了寫好測試腳本以外，還有很多工作需要准備
-
usb要連接好設備，設備需要打開開發者模式
-
安裝好目標測試app的debug包
-
檢查chromeDriver的驅動版本是否與設備匹配
-
可能遇到其他未知問題......
下面是基於Robot framework的自動化測試腳本片段
八、移動端自動化測試的探索
1、基於數據驅動的自動化測試 → 基於關鍵字驅動的自動化測試。
從以上具體實現中可以看出，要針對一個測試用例編寫出對應的測試腳本，這需要的代碼量不算少，並且還需要對每個方法的定義和輸入輸出十分熟悉。
因此，要實現UI層面的自動化測試，成本很高，甚至超過了收益。
所以，如果可以讓測試腳本的編寫變的簡單，那么將大大改善現狀。
2、探索
仔細觀察上述具體實現，可以發現，一個測試腳本是可以由多個測試用例組成，而每一個測試用例又可以是由多條語義清晰的指令構成的。
於是這就可以考慮對其進行抽象，這也是策略模式的一種具體應用，主要包括三個方面：
-
界面元素名與測試內部對象名的分離。
將界面上的所有元素映射成相對應的一個邏輯對象，測試針對這些邏輯對象進行，界面元素的改變只會影響映射表，而不會影響測試。
-
測試描述與具體實現細節的分離，把測試描述和測試的具體實現細節分離開來。
測試描述只說明軟件測試要做什么以及期待什么樣的結果，而不管怎樣執行測試或怎樣證實結果。
這樣做是因為測試的實現細節通常與特定的平台以及特定的測試執行工具有着密切的聯系。
這種分離使得測試描述對於應用實現細節是不敏感的，而且有利於測試在工具和平台間的移植。
-
腳本與數據的分離。
把測試執行過程中所需的測試數據從腳本中提取出來，在運行時測試腳本再從數據存放處讀取預先定制好的數據，這樣腳本和數據可以獨立維護
如下所示為一個基於關鍵字驅動的指令模型映射表
九、移動端UI自動化測試的展望
一個完整的移動端UI自動化流程應該是包括功能和視覺兩部分內容的。
在功能方面，盡管利用一些主流框架可以實現自動化，但編寫腳本的成本依然很大並且很復雜。
在視覺方面，更是需要依賴圖像識別、圖像相似度匹配、音頻匹配等等技術手段。
所以，目前針對移動端UI的自動化測試還是困難重重，並沒有一個成熟的解決方案。
傳統測試技術 → 基於AI的測試技術
從AI在圍棋界接連擊敗李世石、柯潔開始，AI技術逐步影響着人類社會的方方面面。
而自動化測試也慢慢朝AI的方向在發展，基於深度學習，通過迭代訓練，讓機器自己做出決策，最終完成操作。
比較具有代表性的AI自動化測試實踐有愛奇藝團隊的Aion測試框架、騰訊游戲QA團隊的AI自動化測試系統。
相信在不久的將來，借助AI的力量，自動化測試將會變的越來越簡單！
十、參考文獻：
- 什么樣的項目適合自動化測試
- python selenium自動化測試之路（1）--分層測試概念、selenium工具介紹
- PC端WebUI自動化測試框架簡介
- selenium實現原理
- 基於AI的移動端自動化測試框架的設計與實踐
- uiautomator2源碼解析
- 測開面試 | 自動化測試之工具篇
更多內容敬請關注 vivo 互聯網技術 微信公眾號
注：轉載文章請先與微信號：labs2020 聯系