這篇論文試圖將GAT應用於KG任務中，但是問題是知識圖譜中實體與實體之間關系並不相同，因此結構信息不再是簡單的節點與節點之間的相鄰關系。這里進行了一些小的trick進行改進，即在將實體特征拼接在一起的時候還同時考慮了兩個實體之間的關系向量。
就像上面圖里所表示的，三個特征向量進行拼接之后再通過一層全連接層，然后通過卷積層和LeakyReLu層進行激活。之后softmax歸一化，得到節點對節點的注意力系數。
上面是下一層新的實體表示，這里要注意的是上面k代表的是節點與節點之間的關系可能不止一個，我們需要遍歷所有的這些關系。
在每層之間多頭注意力采用拼接機制
最后一層則取平均
這里最后還有一個類似resnet的單層網絡結構，即將最初的向量和最后的向量進行運算處理。
最后的網絡效果圖如下所示：
