1. TP , FP , TN , FN定義
TP(True Positive)是正樣本預測為正樣本的數量,即與Ground truth區域的IoU>=threshold的預測框
FP(False Positive)是負樣本預測為正樣本的數量,誤報;即與Ground truth區域IoU < threshold的預測框
FN(True Negative)是本為正,錯誤的認為是負樣本的數量,漏報;遺漏的Ground truth區域
TN(False Negative)是本為負,正確的認為是負樣本的數量,沒法算,因為沒有標框的地方無法界定
2. 評價標准(一般來說mAP針對整個數據集而言的;AP針對數據集中某一個類別而言的;而percision和recall針對單張圖片某一類別的。)
①精確率precision:就是在識別出來的圖片中(預測為正樣本的圖片是識別出的圖片)TP所占的比值:
【大白話:判斷對了多少個(都被模型判斷為positive,其中判對了多少個)】
表達式:precision=TP/(TP+FP)
②召回率recall:就是被正確識別出來的正樣本個數與測試集中所有正樣本的個數的比值:
【大白話:positive找到了多少個 (在真實標簽為positive的所有樣本中,找到了多少個)】
表達式:recall=TP/(TP+FN)
注: Precision和Recall之間往往是一種博弈關系,好的模型讓Recall值增長的同時保持Precision的值也在很高的水平,而差的模型性可能會損失很多Precision值才能換來Recall值的提高。通常情況下,都會使用Precision-recall曲線,來顯示分類模型在Precision與Recall之間的權衡。
③准確率:計算的是分類正確個數占全體樣本的比例,針對的是所有類別
表達式:accuracy=(TP+TN)/(TP+FP+FN+TN)
注:一般不直接使用准確率
- 主要是因為類別不平衡問題,如果大部分是negative的 而且大部分模型都很容易判別出來,那准確率都很高, 沒有區分度,也沒有實際意義(因為negative不是我們感興趣的)
"Object Detection不僅需要檢測出圖像中物體的分類,還需要給出物體在圖像中的位置,並使用IoU來映射Prediction結果與Ground Truth的關系。"
④IoU:就是系統預測出來的框與原來圖片中標記的框的重合程度。即通過計算Prediction Box與Ground Truth Box的交並比(IoU)來評價邊界框正確性的度量指標,即為檢測的准確率:
IoU=(DetectionResult⋂GroundTruth)/(DetectionResult⋃GroundTruth)
⑤平均准確度均值mAP(mean average precision):
目標檢測中衡量識別精度的指標。它是多類的檢測中,取每個類AP的平均值。多個類別物體檢測中,每一個類別都可以根據recall和precision繪制一條曲線AP是Precision-Recall Curve(PRC)曲線所覆蓋的面積,用來衡量模型在每個具體類別上的好壞。mAP就是給每一分類分別計算AP,再做mean平均。
即多個類別AP的平均值。這里average等於是對recall取平均。而mAP(mean average precision)的mean,是對所有類別取平均。