信息檢索評價是對信息檢索系統性能(主要滿足用戶信息需求的能力)進行評估的活動。通過評估可以評價不同技術的優劣,不同因素對系統的影響,從而促進本領域研究水平的不斷提高。信息檢索系統的目標是較少消耗情況下盡快、全面返回准確的結果。 IR的評價指標,通常分為三個方面:(1)效率(Efficiency ...
一 RP R recall 表示召回率 查全率,指查詢返回結果中相關文檔占所有相關文檔的比例 P precision 表示准確率 精度,指查詢返回結果中相關文檔占所有查詢結果文檔的比例 則 PR 曲線呈現出負相關的下降趨勢 一般來說,recall 和 precision 反映了模型性能的兩個方面,單一依靠某個指標並不能較為全面的評價一個模型的性能。 此時引入F Score F measure 作為 ...
2018-03-29 23:37 1 6367 推薦指數:
信息檢索評價是對信息檢索系統性能(主要滿足用戶信息需求的能力)進行評估的活動。通過評估可以評價不同技術的優劣,不同因素對系統的影響,從而促進本領域研究水平的不斷提高。信息檢索系統的目標是較少消耗情況下盡快、全面返回准確的結果。 IR的評價指標,通常分為三個方面:(1)效率(Efficiency ...
先貼代碼,原理有時間補上。 代碼中兩種方式實現了ndcg的計算,調用的時候需要注意一下。 ...
測試數據集 一個文檔集 一組用於測試的信息需求集合,信息需求可以表示為查詢 一組相關性判定結果,對應每個查詢-文檔,通常會賦予一個二值判定結果: 相關/不相關 經驗發現一般測試的查詢數應>=50。 無序檢索結果的評價 准確率和召回率 對於一個查詢,根據其返回 ...
這些指標都是衡量搜索引擎算法的指標。搜索引擎一般采用PI(peritem)的方式進行評測,簡單地說就是逐條對搜索結果進行分等級的打分。假設我們現在在Google上搜索一個詞,然后得到5個結果。我們對這些結果進行3個等級的區分:Good(好)、Fair(一般)、Bad(差),然后賦予他們分值分別為 ...
MAP(Mean Average Precision): 單個主題的平均准確率是每篇相關文檔檢索出后的准確率的平均值。主集合的平均准確率(MAP)是每個主題的平均准確率的平均值。MAP 是反映系統在全部相關文檔上性能的單值指標。系統檢索出來的相關文檔越靠前(rank 越高),MAP就可能越高 ...
IR的評價指標-MAP,NDCG和MRR MAP(Mean Average Precision): 單個主題的平均准確率是每篇相關文檔檢索出后的准確率的平均值。主集合的平均准確率(MAP)是每個主題的平均准確率的平均值。MAP 是反映系統在全部相關文檔上性能的單值 ...
直接翻譯為歸一化折損累計增益,可能有些晦澀,沒關系下面重點來解釋一下這個評價指標。這個指標通常是用來衡量 ...
MAP(Mean Average Precision):單個主題的平均准確率是每篇相關文檔檢索出后的准確率的平均值。主集合的平均准確率(MAP)是每個主題的平均准確率的平均值。MAP 是反映系統在全部相關文檔上性能的單值指標。系統檢索出來的相關文檔越靠前(rank 越高),MAP就可能越高 ...