WeTest導讀
互聯網產品測試，測試的是產品質量，但也同時考驗着測試者的質量。
什么是兼容性測試？指的是設計程序與硬件、軟件之間的兼容性的測試，考驗的是程序，軟件，硬件三者的能力，缺一不可。而什么是好的兼容測試？我個人理解是一個雙向檢驗的過程：“測試產品質量的同時，也在考驗測試者的質量”。只有當兩個“質量”都達標的時候，才是真正的測試通過。天下大事必作於細，我們從基礎環節便嚴格要求，圍繞質量高於一切的理念打造精品兼容服務。以下跟大家分享一下騰訊游戲兼容測試一步步走來的經歷。
一、騰訊游戲兼容測試的源起
騰訊最早做兼容性測試其實是在端游時代，目標是為了給騰訊產品建立一道專業的測試防線，保證產品兼容性方面的質量。兼容測試可以說是見證了英雄聯盟、天天愛消除、王者榮耀這些里程碑式的游戲崛起，也在路上修煉了自己的功力。兼容測試根據服務對象和測試內容可分為2大類：PC端的兼容測試和移動端兼容測試。兩者之間有着天壤之別，最大差別就是測試環境，PC端游的玩家環境相對簡單集中，所以兼容性測試環境易搭建，流程簡單並且覆蓋面廣，所以，在功能測試通過后，兼容性暴露出的問題往往並不嚴重。以下主要介紹下騰訊移動兼容性測試團隊是如何運作的。
二、建立最有效的Top用戶機型庫
從2011年手游市場起步，手機用戶數量增長，每年超過1000款新機型的上市，安卓碎片化問題嚴重，移動游戲對兼容測試的服務需求越來越強。騰訊移動兼容性團隊也隨着不斷調整和更新測試角度、方法和范圍，投入專業測試人力，幫助產品發現和規避兼容性缺陷；
為了保障兼容性測試的有效性，甄選最能代表市場的測試設備成為了團隊面臨的第一個問題。測試設備選擇需要一個科學的范圍，很多人覺得測試設備越多越好，在不考慮其他成本的情況下這的確是一個無限接近正確的答案。而事實上這是一個不可能完成的任務，投入越多測試設備，測試成本的邊際效應表現越明顯。通過騰訊游戲大數據對機型和缺陷進行統計，我們選擇了TOP100的測試范圍，這部分機型在市場占比接近60%，兼容性缺陷觸發率在70%左右，硬件和品牌覆蓋面完整，此外，這部分設備上發現的問題有一定代表性，也便於開發更有效地修復和解決問題，性價比綜合評定下最高。在服務騰訊游戲的過程中也獲得了項目組的認可，最終被應用到騰訊游戲的測試標准中。
為了保障每次測試項目組都可以拿到有效的Top機型，我們會定時采購來匹配動態變化中的Top機型庫。除此以外，我們還會有針對性地去采購新上市機型，以便滿足游戲的特殊需求，同時根據經驗來調整測試范圍。
三、“質量＞效率”的測試堅持
騰訊兼容性測試團隊大部分使用人工測試，其實測試成本非常高。
所以在早期，因為團隊人力緊張，排期有壓力的時候，我們也考慮過采購第三方自動化兼容測試服務。但實際用下來，效果上有幾點比較難受：
1. 問題的准確性、完整性不足
我們團隊反饋問題必須要求驗證必現性，＞5次100%出現才會歸類為必現，還需反饋信息完整並且會根據市場占比評估出當前缺陷影響的人數范圍，提出建議性的優先處理等級；而第三方服務會提出非常多的問題，需要測試投入精力去甄選出真正有效的問題，反而增加了確認工作的人力成本消耗。
2、測試深度較淺，核心功能很難覆蓋
第三方服務一般會測試到新手引導，但其實騰訊游戲對兼容測試的需要至少是覆蓋核心功能和主要場景的。
3、無法實現復雜操作
專業測試人員對缺陷的敏感度高，對缺陷定位准確。可以實現復雜操作步驟，如動作類、競速類或隨機事件。對音效、重力感應、AR/VR、智能玩具測試上無可替代。
整體評估下來效率有提升，但服務效果會有比較大的下滑。為了保障游戲測試的品質，也響應公司精品游戲的戰略，在效率和質量2者中，我們最終選擇了質量。我們願意花更多的時間和成本把效果做好。
雖然兼容測試以人工測試為主，但我們始終也沒有放棄對效率的追逐，團隊其實也一直在研究自動化測試方案。其中，包括可以快速驗證兼容的標准兼容測試，保障人工測試品質同時提高測試效率的多機同步助手；針對一些項目組提來的重度兼容需求，例如《王者榮耀》的5v5自動化測試，我們還針對性研發了GAutomator框架，獲得Unity官方推薦，也是目前騰訊unity游戲的標配框架，被應用在《火影忍者》、《龍之谷》等眾多項目的各種測試場景中。
多機同步助手演示效果
多機同步助手演示效果視頻地址：https://v.qq.com/x/page/s03936my587.html
GAutomator框架示意圖
目前，騰訊移動兼容性測試團隊除了負責騰訊所有游戲的兼容性質量，也通過WeTest平台向外部開發者開放了同品質的兼容性測試服務。
然而這卻並不是騰訊兼容團隊和WeTest兼容服務努力的終點，我們期待着將越來越智能的測試AI深度介入游戲測試的各個環節，讓雲端化的游戲測試成為一件可以隨時觸發的自動化流水工作。通過技術的力量解放開發者，專注體驗做出更好的產品，最終實現“You Create，We Test”。
歡迎對兼容性測試同樣精益求精的同行們來體驗服務，共同交流。
點擊鏈接即可使用專家兼容測試服務：http://wetest.qq.com/product/expert-compatibility-testing