KGE性能指标:MRR,MR,HITS@1,HITS@3,HITS@10


本文将介绍用于衡量知识图谱嵌入(Knowledge Graph Embedding,KGE)模型性能中最常用的几个指标:MRR,MR,HITS@1,HITS@3,HITS@10。

一、MRR

MRR的全称是Mean Reciprocal Ranking(排名的倒数),其中Reciprocal是指“倒数的”的意思。具体的计算方法如下:

其中S是三元组集合,|S|是三元组集合个数,rank_i是指第i个三元组的链接预测排名。该指标越大越好。例如,对于三元组(Jack,born_in,Italy),链接预测的结果可能是

s        p         o            score   rank
Jack   born_in   Ireland        0.789      1
Jack   born_in   Italy          0.753      2  *
Jack   born_in   Germany        0.695      3
Jack   born_in   China          0.456      4
Jack   born_in   Thomas         0.234      5

那么,三元组(Jack,born_in,Italy)的链接预测排名则是2。

二、MR

MR的全称是Mean Rank。具体的计算方法如下:

上述公式涉及的符号和MRR计算公式中涉及的符号一样。该指标越小越好。

三、HITS@n

该指标是指在链接预测中排名小于n的三元组的平均占比。具体的计算方法如下:

其中,上述公式涉及的符号和MRR计算公式中涉及的符号一样,另外II(.)

是indicator函数(若条件真则函数值为1,否则为0)。一般地,取n等于1、3或者10。该指标越大越好。

四、从论文上发现的观点

MRR和HITS@10是两个重要指标,不可缺少。MR则不被认为是一个好的指标。

五、参考

https://blog.csdn.net/qq_36158230/article/details/120254381
[https://stackoverflow.com/questions/58796367/how-is-hitsk-calculated-and-what-does-it-mean-in-the-context-of-link-prediction](how to calculate hits@k and what does it mean about the model and the results?)


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM