背景
很多項目迭代速度快,對於版本是否上線,是由產品根據當前版本的需求及質量情況而定。但是版本的質量如何衡量呢?作為測試人員,首要任務就是質量保證並反饋質量情況,如果質量標准不能合理衡量,可能會給產品、開發帶來質量上的誤解,對於用戶的體驗及產品的留存率都有影響。今天談談如何評價一款產品的上線標准。
驗收標准
(1) 軟件需求分析說明書中定義的所有功能已全部實現,性能指標全部達到要求。
(2) 在驗收測試中發現的錯誤已經得到修改,各級缺陷修復率達到標准
(3) 所有測試項沒有殘余緊急、嚴重級別錯誤。
(4) 需求分析文檔、設計文檔和編碼實現一致。
(5) 驗收測試工件齊全(測試計划、測試用例、測試日志、測試通知單、測試分析報告,待驗收的軟件安裝程序。)
缺陷修復率標准
(1) 緊急、嚴重級別錯誤修復率應達到100%;
(2) 普通級別錯誤修復率應達到95%以上;
(3) 優化級別錯誤修復率應達到60%以上;
注:項目緊急時,普通級別錯誤修復率達60% 以上;優化級別錯誤修復率達20% 即可。
服務器運行狀態響應指標
(1) cpu% 並發期間最大使用率應不超過70-80%,如有集合點並發可允許短暫接近或到達100& 但大部分不應查過95%;
(2) memery 測試期間保證內存充足可用內存不少於20%;
(3) disk 監控硬盤是否有讀寫不超過40%;
(4) cpu load average 不應超過cpu 核心數*2 或者不超過cpu 核心數。
軟件性能指標
(1) 響應時間(並發下的響應時間)
響應時間又分為:
1.1 不同頁面瀏覽時候的響應時間
1.2 點擊注冊用戶時的響應時間
1.3 登錄時的響應時間
1.4 搜索功能響應時間
1.5 項目特殊功能響應時間
注:事物的響應時間又分為最大響應時間、平均響應時間、最小響應時間(驗收
可忽略此數) 、90%響應時間。如為B/S 項目可設定驗收標准為最大響應時間不
超過20s、平均響應和90%響應不超過10s。
如為c/s 項目(手機客戶端) 可設定為最大響應時間不超過30s、平均響應和90%
響應不超過15s(因為手機網絡相對較慢,可以適當加大響應時間) 。
(2) 測試中事物通過率:
一般web 項目通過率為3 個9,設定驗收標注為各個事物通過率為99.9%。
(3) 系統能支持的用戶量
需要先評估上線后會有多少注冊用戶和活躍用戶
(4) 吞吐量應與hits tps 等數據成正比且波動較小