1.mAP
mAP的全稱是mean Average Precision,意為平均精度均值(如果按照原來的順利翻譯就是平均均值精度)。這個指標是多目標檢測和多標簽圖像分類中長常用的評測指標,因為這類任務中的標簽大多不止一個,所以不能用普通的單標簽圖像的分類標准,也就是mean Precision,平均精確確率這個指標。mAP是將多分類任務中的平均精度AP(Average Precision)求和再取平均。
---------------------------------------來自菜雞的分割線-----------------------------------------
因為我對基本概念的東西一直都模棱兩可的,所以還是先拓展一下Precision,精確率這個指標。精確率的定義是,對於給定的測試數據集,分類器正確分類的樣本數與總樣本數之比的值。
假設樣本總圖像數為 n(x+y),預測目標數為 x,干擾目標數為 y,預測正確的正樣本數(True Positive)為TP,預測錯誤的正樣本數(False Positive)為FP,預測正確的負樣本數(True Negative)為TN,預測錯誤的負樣本數(False Negative)為FN。
則精確率Precision和召回率Recall的定義為:
Precision就是檢測出來的樣本有多少是准確的,Recall就是所有准確的條目有多少被檢索出來了。
而平均精確率,即為所有准確率的和除以該類別的圖像數量:
AP衡量的是模型在單個類別上判斷結果的好壞(效果好壞),mAP衡量的是模型在所有類別上的好壞。
由於目標檢測中有不止一個類別,因此需要對所有類別計算平均AP值:
其中, 分子為每一個類別的平均精度, 分母為總類別數。
看回第4點的那個例子:
當需要檢索的人數為1時,AP=(100%+66.66%+50%)/3=72.22%
而當需要檢索的不止1個人時,此時正確率則取所有人的平均mAP。如圖所示:
---------------------------------------來自菜雞的分割線-----------------------------------------
2.Rank-k
搜索結果中最靠前(置信度最高)的n張圖有正確結果的概率。
參考資料:https://blog.csdn.net/Chen_yuazzy/article/details/89261887
例子:
假設你的分類系統最終的目的是:能取出測試集中所有飛機的圖片,而不是大雁的圖片。
現在做如下的定義:
True positives : 飛機的圖片被正確的識別成了飛機。
True negatives: 大雁的圖片沒有被識別出來,系統正確地認為它們是大雁。
False positives: 大雁的圖片被錯誤地識別成了飛機。
False negatives: 飛機的圖片沒有被識別出來,系統錯誤地認為它們是大雁。
假設你的分類系統使用了上述假設識別出了四個結果,如下圖所示:
那么在識別出的這四張照片中:
True positives : 有三個,畫綠色框的飛機。
False positives: 有一個,畫紅色框的大雁。
沒被識別出來的六張圖片中:
True negatives : 有四個,這四個大雁的圖片,系統正確地沒有把它們識別成飛機。
False negatives: 有兩個,兩個飛機沒有被識別出來,系統錯誤地認為它們是大雁。
Precision 與 Recall
Precision其實就是在識別出來的圖片中,True positives所占的比率:
其中的n代表的是(True positives + False positives),也就是系統一共識別出來多少照片 。
在這一例子中,True positives為3,False positives為1,所以Precision值是 3/(3+1)=0.75。
意味着在識別出的結果中,飛機的圖片占75%。
Recall 是被正確識別出來的飛機個數與測試集中所有飛機的個數的比值:
Recall的分母是(True positives + False negatives),這兩個值的和,可以理解為一共有多少張飛機的照片。
在這一例子中,True positives為3,False negatives為2,那么Recall值是 3/(3+2)=0.6。
意味着在所有的飛機圖片中,60%的飛機被正確的識別成飛機.。
原文鏈接:https://blog.csdn.net/hysteric314/article/details/54093734