近期上線的某個項目並未達到測試組管理規范設定的通過標准,但因市場等各種原因,算妥協發布了正式版。
對於這類項目的報告出具等很費心,因為遺留問題實在太多,不出具報告對自己不利,出具報告有違背起初設定的通過標准。
什么才是測試通過標准?以往常有聽過領導問:“這個項目怎么就是測試通過了?”也常有開發問:“項目怎么才算通過測試?” 一系列的疑問,最好的解決方式是什么?
重新審視了測試通過標准,感覺本身有缺陷:太過完美,看似可量化,站在不同角色看,實則無法很好量化,如何優化測試通過標准?
當前功能測試方面使用的部分通過標准:
1、測試方案/用例覆蓋程度:95%以上;
2、測試輸出結果與預期輸出之間的符合率:95%以上;
3、測試方案/用例的執行程度:100%;
4、缺陷處理情況:缺陷等級非常重要、重要(P0、P1)需全部關閉,一般、建議性缺陷<10%。開發和測試有爭議的缺陷需要經項目小組討論后決定是否需要修改(拉上產品經理、項目經理、業務方),若經討論后確認可以忽略不改或因其他原因要在以后的版本中實現,則本次測試可以認為通過(這里非常重要:遺留的問題,一定要跟團隊討論,確定可遺留到下個版本,而且要在測試報告中,注明已知問題 & 風險)。