KGE性能指標:MRR,MR,HITS@1,HITS@3,HITS@10


本文將介紹用於衡量知識圖譜嵌入(Knowledge Graph Embedding,KGE)模型性能中最常用的幾個指標:MRR,MR,HITS@1,HITS@3,HITS@10。

一、MRR

MRR的全稱是Mean Reciprocal Ranking(排名的倒數),其中Reciprocal是指“倒數的”的意思。具體的計算方法如下:

其中S是三元組集合,|S|是三元組集合個數,rank_i是指第i個三元組的鏈接預測排名。該指標越大越好。例如,對於三元組(Jack,born_in,Italy),鏈接預測的結果可能是

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5

那么,三元組(Jack,born_in,Italy)的鏈接預測排名則是2。

二、MR

MR的全稱是Mean Rank。具體的計算方法如下:

上述公式涉及的符號和MRR計算公式中涉及的符號一樣。該指標越小越好。

三、HITS@n

該指標是指在鏈接預測中排名小於n的三元組的平均占比。具體的計算方法如下:

其中,上述公式涉及的符號和MRR計算公式中涉及的符號一樣,另外II(.)

是indicator函數(若條件真則函數值為1,否則為0)。一般地,取n等於1、3或者10。該指標越大越好。

四、從論文上發現的觀點

MRR和HITS@10是兩個重要指標,不可缺少。MR則不被認為是一個好的指標。

五、參考

https://blog.csdn.net/qq_36158230/article/details/120254381
[https://stackoverflow.com/questions/58796367/how-is-hitsk-calculated-and-what-does-it-mean-in-the-context-of-link-prediction](how to calculate hits@k and what does it mean about the model and the results?)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM