一:Precision, Recall, F-score
信息檢索、分類、識別、翻譯等領域兩個最基本指標是召回率(Recall Rate)和准確率(Precision Rate------注意統計學習方法中precesion稱為精確率,而准確率為accuracy 是分類正確的樣本除以總樣本的個數。),召回率也叫查全率,准確率也叫查准率,概念公式:
召回率(Recall)= 系統檢索到的相關文件 / 系統所有相關的文件總數;;;亦即預測為真實正例除以所有真實正例樣本的個數
准確率(Precision)= 系統檢索到的相關文件 / 系統所有檢索到的文件總數;;;亦即等於預測為真實正例除以所有被預測為正例樣本的個數
圖示表示如下:
注意:(1)准確率和召回率是互相影響的,理想情況下肯定是做到兩者都高,但是一般情況下准確率高、召回率就低,召回率低、准確率高,當然如果兩者都低,那是什么地方出問題了。
(2)如果是做搜索,那就是保證召回的情況下提升准確率;如果做疾病監測、反垃圾,則是保准確率的條件下,提升召回。
所以,在兩者都要求高的情況下,可以用F1(或者稱為F-score)來衡量。計算公式如下:
F1= 2 * P * R / (P + R)
二:MAP
MAP:全稱mean average precision(平均准確率)。mAP是為解決P,R,F-measure的單點值局限性的,同時考慮了檢索效果的排名情況。
計算如下:
假設有兩個主題,主題1有4個相關網頁,主題2有5個相關網頁。某系統對於主題1檢索出4個相關網頁,其rank分別為1, 2, 4, 7;對於主題2檢索出3個相關網頁,其rank分別為1,3,5。對於主題1,平均准確率為(1/1+2/2+3/4+4/7)/4=0.83。對於主題 2,平均准確率為(1/1+2/3+3/5+0+0)/5=0.45。則MAP=(0.83+0.45)/2=0.64。”
-
目標檢測中的mAP是什么含義?(對於目標檢測mAP,很容易得帶confidence得分,去評估PR曲線)應該在固定IoU=0.5的情況下,設置不同的confidence可以繪制出PR曲線吧!
- https://github.com/rafaelpadilla/Object-Detection-Metrics
圖像語義分割技術度量標准
- https://blog.csdn.net/u014593748/article/details/71698246
- mIoU是在混淆矩陣下,計算所有像素的分類預測情況,計算TP/TP+FN+FP這也是一種交並比!!!
- MIoU計算的是計算A與B的交集(橙色部分)與A與B的並集(紅色+橙色+黃色)之間的比例,在理想狀態下A與B重合,兩者比例為1 。
