摘要：
我們提出一個圖注意力網絡，一個新的用來操作圖結構數據的神經網絡結構，它利用“蒙面”的自我注意力層來解決基於圖卷積以及和它類似結構的短板。通過堆疊一些層，這些層的節點能夠參與其鄰居節點的特征，我們可以為該節點的不同鄰居指定不同的權重，此過程不需要任何計算密集的矩陣操作（例如轉置）或者事先預知圖的結構。
1.INTRODUCTION
CNN已經成功的營造用在解決圖像分類，語義分割，機器學習方面的問題，這些方面的潛在數據表示都是類表格結構
然而，很多有趣的任務涉及的數據結構不能被表示為類表格結構並且分布在一個非常規的空間，像社交網絡。這樣的數據結構可以被表示為圖結構
在文獻中有過擴展神經網絡來處理任意形狀圖的幾次嘗試。早期工作使用遞歸神經網絡用有向無環圖來處理圖領域的數據表示。Gori和Scarselli等人提出圖神經網絡（GNN）作為一種遞歸神經網絡（RNN）的泛化，GNN能夠直接處理更多種類的圖，例如有環圖，有向圖，無向圖。
作者通過與之前一些研究的對比提出：之前在一個特定圖結構上的模型不能夠直接應用在另外一個不同結構的圖上。於是，作者介紹了注意力機制。注意力機制的最大的特點是：它允許不同大小的輸入，集中在眾多輸入中最相關的部分並用此來做決定。當一個注意力機制使用在計算單一序列的節點表示時，它通常指的時自我注意力機制。自我注意力機制被證明在處理機器學習，語句表示學習方面是有效的。
通過對之前研究的了解，作者提出基於注意力機制結構用來給圖結構的數據進行節點分類的方法。這個方法使用自我注意力機制通過該節點的鄰居節點計算該節點的隱藏表示。這種注意力架構有幾種特點：（1）這種操作是有效的，因為它並行計算鄰居節點對（2）通過給鄰居節點指定任意的權重，來應用在擁有不同度的節點的圖上。（3）該模型可以直接應用在推理學習問題上，包括一些任務其模型不得不生成完全不可見的圖。作者驗證該方法在四個基准線上：Cora,Citeseer,Pubmed citation networks,inductiv protein-protein interaction dataset,並達到了目前最高水平。
2.GAT ARCHITECTURE
2.1GRAPH ATTENTIONAL LAYER
我們以單個圖注意力層為例開始，因為單層貫穿於我們實驗所用的GAT架構。
我們該層的輸入是a set of node features,
N代表節點數目，F為每個節點的特征數。該層產生a new set of node features
作為輸出。
為了去獲得足夠的把輸入的特征轉化為更高層次的特征的表現力，至少需要一個可學習的線性轉換。為此目的，作為一個初始化步驟，一個共享的參數為一個權重矩陣
的線性轉換應用在每個節點上。然后我們在節點上使用自我注意地機制，一個共享的注意力機制a,以此用來計算注意力因子
上面的公式表示節點 j 的特征對於節點 i 的重要性。在其最通用的表述中，j 將是 i 的第一階鄰居。為了使不同節點的因子容易比較，我們使用柔性最大值函數均一化（1）式
在我們的實驗中，注意力機制 a 是一個單層的前饋神經網絡，參數為權重向量 a,使用LeakyReLU非線性化（使用負斜率
）。完全擴展后，由圖1左圖描述的注意力機制所計算的因子表述為：
||意為一些列相關操作
一旦獲得均一化的注意力因子，它將用來計算與之相關的特征的線性組合，結果作為每個節點的最終輸出。如（4）
為了穩定自我注意力機制的學習過程，我們已經發現擴展我們的機制，使用多頭注意力機制有顯著效果，和Vaswani等人2017年的做法相似。特別的，K個獨立的注意力機制用來執行公式（4），並且他們的特征是相關的，結果如右圖的輸出特征表達式：
特別的，如果我們使用多頭注意力機制在神經網絡的最后一層上，相關操作不再是機制的，我們使用平均值，並且延遲使用最后的非線性化（對於分類問題使用一個柔性最大值或者邏輯sigmoid函數）
