B/S架構(Web)測試的缺陷等級定義:
A: 致命
- 正常的用戶操作導致瀏覽器崩潰或無響應
- 產品核心功能沒有實現或無法使用:例如播放器無法播放視頻、郵箱無法登錄、不能收發郵件
- 程序實現與需求嚴重不符:例如一個程序改版只為了按需求增加統計功能,但程序沒有統計功能或有統計輸出但並非是要統計的數據
- 其他導致無法測試的錯誤:例如沒有新功能入口
- 嚴重的數值計算錯誤:例如算法設計錯誤,導致計算結果錯誤
- 存在致命的安全漏洞:例如密碼不匹配也可登錄、密碼暴露在URL串中、復制最高權限登錄后的頁面鏈接在其他進程瀏覽器中,無需再次驗證即可擁有最高權限
- Bug被重開次數>=3次,如果原來bug定級為A,則無需改變缺陷級別
- 上線前最后一個版本配置管理出現問題
B: 嚴重
- 正常的用戶操作導致瀏覽器出現偶發類崩潰(偶發概率20%以上)
- 主業務流程對應的功能沒有實現或實現不正確,阻礙測試繼續進行
- 程序上主要功能實現與需求不符
- 其他導致部分模塊無法測試的錯誤
- 主要數值計算錯誤:例如需要統計5類數據,但只有3類數據被統計
- XSS漏洞等安全性問題
- 1<Bug被重開次數<=2次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入最后一輪測試時版本配置管理出現問題
- 主要頁面404、502或其他問題
- 嚴重的功能邏輯錯誤
- 嚴重的操作權限錯誤,對用戶數據造成嚴重影響
- 嚴重的兼容性問題和頁面樣式問題,如:頁面樣式嚴重錯亂,導致頁面控件無法正常定位
- 頁面下載明顯緩慢或接口調用明顯緩慢並可能導致功能無法使用等性能問題
C: 較嚴重
- 正常的用戶操作導致瀏覽器出現偶發類崩潰(偶發概率10%以下)
- 用戶非常規操作導致瀏覽器崩潰或影響系統性能的問題
- 次業務流程對應的功能沒有實現或實現錯誤,但不影響測試繼續進行:例如不能修改昵稱等非主要問題
- 程序上主要功能的分支或非主要功能與需求不符
- 輕微的數值計算錯誤:對於取整類、四舍五入類的計算,異常操作的輸出未被計算在內
- Bug被重開次數=1次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入測試時,提交測試的過程版本配置管理出現問題
- 初始化錯誤:如統計中的初始值
- 輸入域執行SQL、JS等代碼的問題
- 系統中用戶權限實現有誤
- 兼容性導致的主要功能問題
- CSS錯亂等嚴重的樣式問題
- 頁面出現JS錯誤且導致某功能不可用
D: 一般性問題主要為:界面類、容錯類缺陷
- 次要功能的分支與需求不符
- 操作界面UI類錯誤:例如顯示折行、溢出等樣式問題
- 邊界條件下錯誤、輸入域的邊界問題
- 輸入域對特殊字符處理的相關問題
- 提示信息錯誤(包括未給出信息、信息提示錯誤等)
- 界面中操作焦點錯誤(如按Tab鍵未順序操作,彈出其他窗口后主界面焦點位置錯誤等)
- 輸入域的相關問題,如:輸入框長度判斷錯誤
- 非主流瀏覽器出現的一些可替代的功能異常
E:易用性和建議類缺陷
- 界面格式等不規范
- 一些邊角的樣式問題
- 需求未定義的一些頁面展現,如Title顯示不正確等
- 文案問題,例如ALT值等
- 輔助說明描述不清楚
- 操作時提示信息不完善
- 可輸入區域和只讀區域沒有明顯的區分標志
- 個別不影響產品理解的錯別字
- 文字排列不整齊等一些小問題
10. 建議類型的缺陷:如用戶使用習慣等易用性問題、對流程規則和邏輯需求建議問題、對頁面布局和顯示方式等UI問題的建議
C/S架構(Client)測試的缺陷等級定義:
A: 致命
- 程序無法運行/模塊無法啟動/異常退出
- 程序導致操作系統崩潰/死機/藍屏
- 程序實現與需求嚴重不符
- 程序實現與技術文檔嚴重不符
- 程序實現與開發規范嚴重不符
- 導致產品無法繼續進行測試的缺陷
- 程序占用資源高(比同類產品高出50%以上)
- 內存、GDI等泄漏
- Bug被重開次數>=3次,如果原來bug定級為A,則無需改變缺陷級別
- 上線前最后一個版本配置管理出現問題
B: 嚴重
- 程序可基本運行但主要功能模塊運行異常
- 程序出現偶發類崩潰(偶發概率20%以上)
- 程序上主要功能實現與需求不符
- 程序實現與技術文檔中定義有差別,造成功能實現不全面
- 程序實現與開發規范不符,導致相關功能實現錯誤
- 導致部分模塊無法繼續測試的錯誤
- 程序占用資源偏高(比同類產品高出20%~50%之間)
- 性能不達標
- 1<Bug被重開次數<=2次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入最后一輪測試時版本配置管理出現問題
C: 較嚴重
- 程序出現偶發類崩潰(偶發概率10%以下)
- 程序上主要功能的分支或非主要功能與需求不符
- 功能實現錯誤但不影響主要流程
- 實現了多余功能
- 程序占用資源略高(比同類產品高出的百分比不超過20%)
- 界面刷新類錯誤
- 參數未進行輸入限制導致嚴重錯誤
- 性能需要優化
- Bug被重開次數=1次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入測試時,提交測試的過程版本配置管理出現問題
D: 一般性問題主要為:界面類、容錯類缺陷
- 操作界面UI存在常規錯誤
- 邊界值限制錯誤
- 提示信息錯誤(包括未給出信息、信息提示錯誤等)
- 界面中操作焦點錯誤(如按Tab鍵未順序操作,彈出其他窗口后主界面焦點位置錯誤等)
- 窗口模態/非模態屬性錯誤
E:易用性和建議類缺陷
- 界面格式等不規范
- 界面UI存在微小瑕疵,諸如按鈕多邊角、多像素等
- 輔助說明描述不清楚
- 操作時提示信息不完善
- 文字說明中存在的錯別字、錯誤標點符號
- 控件、文字排列不整齊等一些小問題
- 建議類型的缺陷
服務器及接口測試的缺陷等級定義:
A: 致命
- 程序無法運行/模塊無法啟動/異常退出
- 程序出現可重現類崩潰/死機/凍結
- 程序實現與需求嚴重不符
- 程序實現與技術文檔嚴重不符(服務器架構等)
- 程序實現與開發規范嚴重不符(如日志輸出)
- 其他導致無法測試的錯誤
- 嚴重的數值計算錯誤:例如主從服務器存活的計算
- 丟包率超過40%
- 程序占用資源高(比同類產品高出50%以上)
- 內存泄漏
- Bug被重開次數>=3次,如果原來bug定級為A,則無需改變缺陷級別
- 上線前最后一個版本配置管理出現問題
- 性能很差無法提供正常服務
B: 嚴重
- 程序可基本運行但主要功能模塊運行異常
- 程序出現偶發類崩潰(偶發概率20%以上)
- 程序上主要功能實現與需求不符
- 程序實現與技術文檔中定義有差別,造成功能實現不全面
- 程序實現與開發規范不符,導致相關功能實現錯誤(如有日志輸出但日志格式非標准化)
- 其他導致部門模塊無法測試的錯誤
- 主要數值計算錯誤:例如客戶端與服務器間匯報的存活狀態數值計算不正確,導致服務器誤判斷客戶端已異常退出
- 丟包率在10%~40%之間
- 程序占用資源偏高(比同類產品高出20%~50%之間)
- 1<Bug被重開次數<=2次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入最后一輪測試時版本配置管理出現問題
- 不同類型窗口調用出現邏輯錯誤
- 性能不達標
C: 較嚴重
- 程序出現偶發類崩潰(偶發概率10%以下)
- 程序上主要功能的分支或非主要功能與需求不符
- 功能實現錯誤
- 輕微的數值計算錯誤:例如服務器在線人數對於客戶端的頻繁退出未及時統計,有延遲
- 丟包率在10%以下
- 程序占用資源略高(比同類產品高出的百分比不超過20%)
- Bug被重開次數=1次,如果原來bug定級為A或B,則無需改變缺陷級別
- 上線前進入測試時,提交測試的過程版本配置管理出現問題
- 刷新類錯誤
- 有影響的參數未進行輸入限制
- 性能不優化
D: 一般性問題主要為:界面類、容錯類缺陷
- 接口參數檢查已實現,但不全面
- 操作界面UI類錯誤
- 邊界條件下錯誤
- 提示信息錯誤(包括未給出信息、信息提示錯誤等)
- 界面中操作焦點錯誤(如按Tab鍵未順序操作,彈出其他窗口后主界面焦點位置錯誤等)
E:易用性和建議類缺陷
- 界面格式等不規范
- 輔助說明描述不清楚
- 操作時未給用戶提示
- 可輸入區域和只讀區域沒有明顯的區分標志
- 個別不影響產品理解的錯別字
- 文字排列不整齊等一些小問題
- 建議類型的缺陷
