本文將介紹用於衡量知識圖譜嵌入(Knowledge Graph Embedding,KGE)模型性能中最常用的幾個指標:MRR,MR,HITS@1,HITS@3,HITS@10。
一、MRR
MRR的全稱是Mean Reciprocal Ranking(排名的倒數),其中Reciprocal是指“倒數的”的意思。具體的計算方法如下:
其中S是三元組集合,|S|是三元組集合個數,rank_i是指第i個三元組的鏈接預測排名。該指標越大越好。例如,對於三元組(Jack,born_in,Italy),鏈接預測的結果可能是
s p o score rank
Jack born_in Ireland 0.789 1
Jack born_in Italy 0.753 2 *
Jack born_in Germany 0.695 3
Jack born_in China 0.456 4
Jack born_in Thomas 0.234 5
那么,三元組(Jack,born_in,Italy)的鏈接預測排名則是2。
二、MR
MR的全稱是Mean Rank。具體的計算方法如下:
上述公式涉及的符號和MRR計算公式中涉及的符號一樣。該指標越小越好。
三、HITS@n
該指標是指在鏈接預測中排名小於n的三元組的平均占比。具體的計算方法如下:
其中,上述公式涉及的符號和MRR計算公式中涉及的符號一樣,另外II(.)
是indicator函數(若條件真則函數值為1,否則為0)。一般地,取n等於1、3或者10。該指標越大越好。
四、從論文上發現的觀點
MRR和HITS@10是兩個重要指標,不可缺少。MR則不被認為是一個好的指標。
五、參考
https://blog.csdn.net/qq_36158230/article/details/120254381
[https://stackoverflow.com/questions/58796367/how-is-hitsk-calculated-and-what-does-it-mean-in-the-context-of-link-prediction](how to calculate hits@k and what does it mean about the model and the results?)