推薦系統評測指標--准確率(Precision)和召回率(Recall)、F值(F-Measure)


轉自http://bookshadow.com/weblog/2014/06/10/precision-recall-f-measure/

1,准確率和召回率是廣泛應用於信息檢索和統計學分類領域的兩個度量值,來評價結果的質量。

其中精度是檢索出相關文檔數與檢索出的文檔總數的比率,衡量的是檢索系統的查准率;

召回率:檢索出的相關文檔數和文檔庫中所有的相關文檔數的比率,衡量的是檢索系統的查全率;

 

一般來說

precision是檢索出來的條目(文檔、網頁)有多少是准確的;

recall就是所有准確的條目有多少被檢索出來了;

=======

定義:

1. 正確率 = 提取出的正確信息條數 /  提取出的信息條數     

2. 召回率 = 提取出的正確信息條數 /  樣本中的信息條數    

  兩者取值在0和1之間,數值越接近1,查准率或查全率就越高。   

3. F值  = 正確率 * 召回率 * 2 / (正確率 + 召回率) (F 值即為正確率和召回率的調和平均值)

不妨舉這樣一個例子:某池塘有1400條鯉魚,300只蝦,300只鱉。現在以捕鯉魚為目的。撒一大網,逮着了700條鯉魚,200只蝦,100只鱉。那么,這些指標分別如下:

正確率 = 700 / (700 + 200 + 100) = 70%

召回率 = 700 / 1400 = 50%

F值 = 70% * 50% * 2 / (70% + 50%) = 58.3%

不妨看看如果把池子里的所有的鯉魚、蝦和鱉都一網打盡,這些指標又有何變化:

正確率 = 1400 / (1400 + 300 + 300) = 70%

召回率 = 1400 / 1400 = 100%

F值 = 70% * 100% * 2 / (70% + 100%) = 82.35%    

由此可見,正確率是評估捕獲的成果中目標成果所占的比例;

召回率,就是從關注領域中,召回目標類別的比例;

F值,綜合這兩者指標的評估指標,用於綜合反映整體領域的指標。

====

目標:希望檢索結果precision越高越好,同時recall也越高越好,但事實上這兩者在某些情況下有矛盾的。

比如,極端情況下:

我們只搜索出了一個結果,且是准確的,那么precision就是100%,但是recall卻很低;

如果我們把所有結果都返回,那么比如recall是100%,但是precision就會很低。

因此 ,在不同的場合中需要自己判斷希望precision比較高或是recall比較高;

如果是做實驗研究,可以繪制precision-recall曲線來幫助分析。

==========

2,綜合評價指標(F-Measure)

P和R指標有時候會出現的矛盾的情況,這樣就需要綜合考慮他們,最常見的方法就是F-Measure(又稱為F-Score)

F-Measure是Precision和Recall加權調和評價;

F = (α2+1)P*R/(α2(P+R))

當α=1時,就是最常見的F1,

F1=2*P*R/(P+R);

可知,F1綜合了P和R的結果,當F1較高時,則能說明試驗方法,比較有效;

=======

3,E值

E值表示差准率P和差全率R的加權評價值,當其中一個為0時,E值為1;

b越大,表示差准率的權重越大。

=======

4,平均正確率(AP)

平均正確率表示不同查全率的點上的正確率的平均。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM