行人重識別和車輛重識別(ReID)中的評測指標——mAP和Rank-k


1.mAP

mAP的全稱是mean Average Precision,意為平均精度均值(如果按照原來的順利翻譯就是平均均值精度)。這個指標是多目標檢測和多標簽圖像分類中長常用的評測指標,因為這類任務中的標簽大多不止一個,所以不能用普通的單標簽圖像的分類標准,也就是mean Precision,平均精確確率這個指標。mAP是將多分類任務中的平均精度AP(Average Precision)求和再取平均。

---------------------------------------來自菜雞的分割線-----------------------------------------

因為我對基本概念的東西一直都模棱兩可的,所以還是先拓展一下Precision,精確率這個指標。精確率的定義是,對於給定的測試數據集,分類器正確分類的樣本數與總樣本數之比的值。

假設樣本總圖像數為 n(x+y),預測目標數為 x,干擾目標數為 y,預測正確的正樣本數(True Positive)為TP,預測錯誤的正樣本數(False Positive)為FP,預測正確的負樣本數(True Negative)為TN,預測錯誤的負樣本數(False Negative)為FN。

則精確率Precision和召回率Recall的定義為:

                           在這里插入圖片描述

Precision就是檢測出來的樣本有多少是准確的,Recall就是所有准確的條目有多少被檢索出來了。

 

而平均精確率,即為所有准確率的和除以該類別的圖像數量:

AP衡量的是模型在單個類別上判斷結果的好壞(效果好壞),mAP衡量的是模型在所有類別上的好壞。

由於目標檢測中有不止一個類別,因此需要對所有類別計算平均AP值:
                                                           在這里插入圖片描述

其中, 分子為每一個類別的平均精度, 分母為總類別數。

看回第4點的那個例子:

     當需要檢索的人數為1時,AP=(100%+66.66%+50%)/3=72.22%
     而當需要檢索的不止1個人時,此時正確率則取所有人的平均mAP。如圖所示:


 

 

---------------------------------------來自菜雞的分割線-----------------------------------------

 

 2.Rank-k

搜索結果中最靠前(置信度最高)的n張圖有正確結果的概率。

 

參考資料:https://blog.csdn.net/Chen_yuazzy/article/details/89261887

 

 

例子:

假設你的分類系統最終的目的是:能取出測試集中所有飛機的圖片,而不是大雁的圖片。

現在做如下的定義:
True positives : 飛機的圖片被正確的識別成了飛機。
True negatives: 大雁的圖片沒有被識別出來,系統正確地認為它們是大雁。
False positives: 大雁的圖片被錯誤地識別成了飛機。
False negatives: 飛機的圖片沒有被識別出來,系統錯誤地認為它們是大雁。

假設你的分類系統使用了上述假設識別出了四個結果,如下圖所示:


那么在識別出的這四張照片中:
True positives : 有三個,畫綠色框的飛機。
False positives: 有一個,畫紅色框的大雁。

沒被識別出來的六張圖片中:
True negatives : 有四個,這四個大雁的圖片,系統正確地沒有把它們識別成飛機。
False negatives: 有兩個,兩個飛機沒有被識別出來,系統錯誤地認為它們是大雁。

Precision 與 Recall
Precision其實就是在識別出來的圖片中,True positives所占的比率:

這里寫圖片描述

其中的n代表的是(True positives + False positives),也就是系統一共識別出來多少照片 。
在這一例子中,True positives為3,False positives為1,所以Precision值是 3/(3+1)=0.75。
意味着在識別出的結果中,飛機的圖片占75%。

Recall 是被正確識別出來的飛機個數與測試集中所有飛機的個數的比值:

這里寫圖片描述

Recall的分母是(True positives + False negatives),這兩個值的和,可以理解為一共有多少張飛機的照片。
在這一例子中,True positives為3,False negatives為2,那么Recall值是 3/(3+2)=0.6。
意味着在所有的飛機圖片中,60%的飛機被正確的識別成飛機.。

原文鏈接:https://blog.csdn.net/hysteric314/article/details/54093734


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM