AI算法測評(二)--算法測試流程


根據算法測試過程中遇到的一些問題和管理規范, 梳理出算法測試工作需要關注的一些點:

編號 

名稱

描述信息

備注

1

明確算法測試需求

  • 明確測試目的
  • 明確測試需求, 確認測試需要的數據及場景
  • 明確算法服務流程, 確認算法輸入\輸出的數據, 並向開發人員提出相關數據的輸出要求
  • 確認時間節點與人力支持
  • 在需求評審階段確認
  • 若無評審, 需要跟相關人員進行確認
  • 算法測試需求種類: 
  • 01.算法測試種類
  • 注: 強烈建議事先對評審的項目的業務有所了解,對后續測試方案和數據采集有較大影響

2

編寫測試方案

  • 確認算法測試主要場景和測試場景信息
  • 確認各場景測試數據需求量
  • 確認算法標簽標准
  • 確定算法性能指標定義及計算公式
  • 算法測試方案模板:
  • 算法測試方案模板v1.0
  • 測試方案模板示例:
  • 算法測試方案模板v1.0/示例--閱讀機二期/ASR算法服務

3

測試數據方案

  • 確認數據采集場所
  • 確認數據采集設備及能夠正常使用
  • 確認數據采集人員及進度安排
  • 數據檢查\清洗與歸類
  • 測試報告生成日期
  • 測試數據方案模板:
  • 測試數據方案模板v1.0
  • 測試數據方案示例: 測試數據方案模板v1.0/示例--閱讀機二期/ASR算法測試數據

4

算法測試

  • 確認算法相關細節, 主要參考使用文檔或與算法人員溝通
  • 測試腳本編寫
  • 測試指標統計及badcase樣例展示與保存

 

5

形成測試報告

  • 得出測試結論, 與測試目的保持一致
  • 測試小結, 總結測試過程中發現的其他問題
  • badcase統計與展示
  • 測試報告模板:
  • AI算法測試報告模板v1.1
  • 測試報告示例1:
  • 智能識題算法評測報告-v0.2.0

6

測試結果同步

  • badcase同步
  • 測試細節同步
  • 后續結果跟進

 

7

測試數據與測試報告管理

  • 對測試數據質量進行管理
  • 測試數據版本管理
  • 測試報告結果管理

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM