目標檢測01：常用評價指標（AP、AP50、AP@50:5:95、mAP）

目錄

　　Intersection Over Union(IOU)

　　目標檢測中的TP、FP、FN、TN

　　AP指標

　　mAP指標

　　AP50、AP@50:5:95指標

　　實際應用場景下的指標

　　參考資料

---

 

Intersection Over Union(IOU)

 

綠色框是ground-truth，紅色框是預測框體，IOU=相交的面積/相並的面積

 返回目錄

 

目標檢測中的TP、FP、FN、TN

TP：對ground-truth框正確的檢測（分類正確、預測框體與GT框體的IOU大於預設的閾值）

FP：對不存在的東西做了錯的預測 或者 預測的IOU小於預設閾值

FN：漏檢測

關於TN，在目標檢測里是不考慮TN的，因為他有無數個（一張圖片可以畫無數個框）

因此，所有涉及到TN的指標，如TPR, FPR 和ROC curves都不會在目標檢測里使用。

常用的是精確率和召回率：

P追求的精確，R追求的是召回，所以要在P和R之間要做一個平衡，可以使用AP指標

 返回目錄

 

AP指標

先從簡單的單類別目標檢測來說

假設一共有7張圖片，綠色框是GT（15個），紅色框是預測框（24個）並帶有置信度

現在假設IOU=30%，按照置信度排序得到下表

其中TP表示預測正確、FP表示預測錯誤、acc TP表示從頭到該位置累計正確個數、precision表示從頭到該位置的精確率、recall表示從頭到該位置的召回率。

下圖表示的就是從頭到尾，依次加入新的樣本時，P和R的變化情況：

AP的計算有兩種方式：AP₁₁和AP_all：

先說AP₁₁：

 

藍色線就是前面那張PR圖，紅點的橫坐標有11種取值：【0,0.1,...,0.9,1】，縱坐標的取值為右側藍色線最高的值。AP₁₁就是11個紅點的縱坐標的均值，即：

再說AP_all：

藍色線就是前面那張PR圖，紅色虛線的縱坐標是單調減小的，每次減小到右側藍線的最高點。AP_all就是紅色虛線下方的面積，即：

關於AP的計算常常使用的是AP₁₁.

 返回目錄

 

mAP指標

如果是多類別目標檢測任務，就要使用mean AP(mAP)，其定義為：

即，對所有的類別進行AP的計算，然后取均值

 返回目錄

 

AP50、AP@50:5:95指標

 

AP50指的是IOU的值取50%，AP70同理

AP@50:5:95指的是IOU的值從50%取到95%，步長為5%，然后算在在這些IOU下的AP的均值

 返回目錄

 

實際應用場景下的指標

 

該業務下，ACC的權重為0.2，mAP的權重為0.8

AP的計算即為：AP@10:20:50

 返回目錄

 

參考資料

Padilla R, Netto S L, da Silva E A B. A survey on performance metrics for object-detection algorithms[C]//2020 International Conference on Systems, Signals and Image Processing (IWSSIP). IEEE, 2020: 237-242.

 返回目錄