阿里QA導讀：隨着人工智能的發展，AI概念已經站在了時代的風口，掀起一陣全行業的get into AI熱潮；智能測試作為AI熱潮下一個新的測試領域，也正在被各互聯網公司所追逐，探索和應用。本次分享，將為大家介紹阿里智能化接口測試平台--暴雪，聊一聊她的起源，轉變，破局和未來。 |
簡介：
鄭紅(佚葭)，阿里巴巴資深測試開發專家，2009年從上海交大研究生畢業后，一直專注從事測試開發工作。早期主要在百度和一淘從事搜索領域相關測試，2012年加入天貓技術部負責核心交易鏈路相關測試，目前主要負責盒馬、天貓超市和新零售終端的測試團隊。致力於推動測試團隊從工具化、自動化往平台化、智能化思維轉變，通過技術手段賦能開發和測試，做最高效的用戶體驗的捍衛者。
暴雪的起源
2016年11月30日，暴雪起源於天貓技術質量部的第一次核心成員腦暴會，此次頭腦風暴奠定了團隊后面幾年的轉型方向，即智能化方向。智能化是極具有前瞻性的，當時質量部的遠大目標就是要搞好智能化。當時我們有幾千個自動化測試用例，但還是有漏測，跟不上開發的節奏。要解決這個問題就要搞好智能化，智能化要干什么呢？團隊當時決定搞大數據方向，將線上數據引流下來就可以覆蓋原來覆蓋不到的用例，而且引流也穩定，維護成本也會下降，所以，在智能化中我們確定了最接地氣的大數據測試方向。
針對大數據測試方向，團隊用一周時間制定了規划，在規划的三個方向中，如今依然沒有完全落地，其中的怎么用線上東西去mock環境不穩定的問題在今天依然被拿出來討論，這值得反思，當我們回頭看自己做的事情時，有時候會發現很多東西值得思考。確定了目標之后，我們就要為之努力，在規划的過程中，我們分析智能化到底要做什么，當時的doom已經有強大的線上采集和回放能力，那么，我們的定位是什么呢？通過與doom的溝通，我們希望doom與暴雪是中間件與業務系統之間的關系，前者提供能力，后者提供更上層的解決方案，在這個過程中，我們可以提供什么解決方案呢？在規划中逐步對目標更加清晰，提出了“讓天下沒有難寫的接口測試”的夢想，這個夢想的實質有三點，一是指不難寫，二是指接口測試，三是指能夠實現頁面的交互、可視化、有輸入輸出。 項目取名為“智能接口測試3.0”，寓意我們是接口測試發展里程中的第三代，同時我們想把一代的自動化理念表達進去。Itest、testNG為接口測試1.0版本，接口測試2.0實現了可視化，提供了各種校驗的頁面式的交互，使寫腳本的成本變低。如果我們可以通過大數據變得具有學習能力，不需人為設計，我們稱之為“智能接⼝測試3.0”。在接口的測試過程中有三大痛點：環境、場景、數據。
在2017年3月，接口測試3.0第一版正式發布，此時還沒有真正的落地，並不能真正的使用。2017年4月，第二期體驗優化完成。2017年6月，第三期易用性優化完成，這一版更傾向於測試視角的用法。在這過程中，業務線同學兼顧開發，迭代速度低於預期速度，這時也有了天啟和青龍，讓團隊更堅定了研究方向是正確的方向，但同時也有了危機感。有夢才有遠方，回首三年，我們慶幸當初定下了長遠的目標，使我們能夠持之以恆。
暴雪的轉變
在2017年7月，我們開始有專人投入開發，需求迭代速度加快。2017年8月，我們開始嘗試探索智能化，如用例智能推薦、無腦回歸。2017年11月，我們終於實現了從內往外走，開始加大運營投入，且取得了非常好的效果，慢慢的擁有了兩個金牌用戶：B2B團隊和閑魚團隊。2018年1月，“智能接⼝測試3.0”正式更名為“暴雪”。我們針對重點應用和非核心應用的運營思路是不同的。
那么，轉變的背后我們有哪些思考？具體包括以下幾方面：
效能目標設定：更貼近用戶價值的量化目標。看到有專人投入，剛開始的迭代速度很快，定什么樣的目標才是合理的？因為投入專人后一直在開發，但是價值在哪里，效能目標怎么設定？我們要設定更貼近用戶價值的量化目標，即要完成多少個應用接入，要完成多少個case業務落地等，這才是暴雪存在的意義。
智能化初探：由於算法大賽的刺激，每個小組自我報名參賽，敢想敢做，一切皆有可能。
能力綜合體：如果真的要做一個效能的平台，就必須成為一個能力綜合體，不是說技術好就一定有更大的價值，產品能力+技術能力+運營能力都不可或缺。
當時的產品很爛，我們做各種交互，產品有很多層，要做一個好的產品，需要具備交互優化的能力，在決策某些功能時，什么該第一優先，什么該次級優先，既要了解用戶需求，又不能被用戶牽着鼻子走，如果沒有自己的思考，就不會提供更強大的價值，這是效能產品同學需要重點去思考的。在這個轉變階段，形成了產品的價值定位，或者說能力節點，包括以下幾部分：
大數據、高效、通用、閉環、智能，在這個階段有流量測試的提效，測試覆蓋更全面，研發流程全面升級，AI測試也得到了改革。此時，暴雪已經具備了一定的價值，用戶數開始攀升，處於幾十個應用接入的階段。
暴雪的破局
2018.04 愛迪生賽后，團隊士氣一時陷入低迷，得獎的前三名全部是大數據采集回放領域的，暴雪並不在其中。那么，我們的競爭力是什么？我們是不是在重復造輪？ 這時我們思考了以下三個問題：
用戶市場很廣，雖然TMF有天啟，但當前產品有差異化，服務好非TMF，價值空間依舊在。
用戶痛點還很多，應該共建互通，攻堅技術難題，聚焦用戶價值。
智能化探索之路還很遠，創新力才是競爭力，不一定拘泥於當下幾個點。
我們得出以下結論：
核心價值：廣大非TMF應用的技術同學的測試賦能，解決質量和效率問題。
競爭力：不斷的用創新探索智能化測試。
方向決策：進一步開放共贏，包括與AE、螞蟻合作等，大家會有各種各樣的想法，最后都能在平台上一起合作，最后形成各種解決方案，服務相同的自動化和接口測試。
重新揚帆起航
那么，在這一年多的時間里，我們做了哪三個重大的事情呢？
更優的架構：一旦用戶體量上去后，架構的好壞就會決定未來的發展，新暴雪平台，與DOOM解耦，跑得更快，創造更多可能性。
更豐富的產品：無腦回歸加強，增加了業務維度，可以自動識別業務規則，根據流量告訴你哪些規則組合還沒有生成用例；異常接口測試，讀接口鏈路測試，寫接口鏈路測試、測試度量(灰度發布度量，慢sql預測)。
更開放的思想：適配螞蟻用暴雪，與AE共建精准回歸，與螞蟻compass合作，支持供應鏈-氫氣球端式錄制，更多open api的開放。
破局之后，現在的暴雪有40多個BU的用戶，接入應用數達700多個，周活躍用戶接近200個，以前我們追求的指標是多少應用的接入，隨着不斷的深化，就會發現這個指標是不對的，可能接入后就死掉了，全部是非活躍用戶，還是不能說自己有價值，所以從2018年開始，我們開始追求活躍用戶數，活躍用戶多，說明真正為用戶創造了價值。
目標暴雪的產品能力樹如圖所示，讀接口實時對比、異常測試等都是今年剛release出去的版本。
暴雪的展望
暴雪的產品展望如圖所示，最上面的產品層就是我們要創造的價值，往下的業務層、基礎層是必須具備的能力，暴雪的價值表達更多的是在產品層，未來我們希望能夠通過自己的流量的智能轉化生成出新的東西。如果暴雪等產品擁有懂代碼的能力，就可以智能的覆蓋更多的東西。未來智能化就是一是往底層修煉到更懂代碼，一是更懂業務，暴雪目前還是依賴人去錄入，未來可能沒有人自己也可以探索到。 整個產品，更多還是在代碼質量的領域，未來暴雪要保持三個方向，一是還要在這個領域做深耕，不是在功能點做深耕；二是智能化；三是開放，做到業務線和效能組的共贏，誰是主引擎並沒有那么重要。