異質圖注意力網絡（Heterogeneous Graph Attention Network,HAN）
0 摘要(Abstract)
GNN是一種基於深度學習的強大的圖表示學習算法，它有着優越的性能。然而，GNN並沒有對異質圖（具有不同類型的節點和邊）這一數據結構作充分的考慮。
異質圖的豐富的語義信息給設計異質圖神經網絡帶來了巨大的挑戰。近期，深度學習上一個巨大的突破就是注意力機制的提出。注意力在許多領域中都表現出了巨大的潛力。在本文中，我們提出了一個新穎的異質圖分級注意力網絡——它包含節點級注意力和語義級注意力。具體來說，節點級注意力旨在學習某一個節點與其各個元路徑下的各個鄰居之間的注意力，語義級注意力旨在學習不同元路徑的重要性。在學習了節點級和語義級注意力之后，節點和元路徑的重要性就可以被充分考慮到了。
1 介紹(Introduction)
盡管注意力機制在深度學習上已經取得了成功，基於異質圖這一數據結構的圖網絡還未被研究。然而，現實中有許多圖具有多類型的節點和邊，被稱作異質圖信息網絡，簡稱為異質圖。異質圖具有復雜的信息和豐富的語義，因而被廣泛應用於數據挖掘中。元路徑是一種連接兩個對象的復合關系，是一種用於捕捉語義的結構。
我們以電影數據(IMDB)為例，該圖具有三種類型的節點：電影、演員和導演。兩個電影之間的關系可以被解釋為一個元路徑電影-演員-電影(MAM)，它描述了由同一個演員出演的電影。此外，兩個電影還有另一種關系，即電影-導演-電影(MDM)，它描述了由同一個導演編導的電影。可以看出，基於不同的元路徑，節點之間的關系可以被解釋為不同的語義。正是由於這種復雜性，傳統的GNN不能夠直接應用於異質圖。
1.1 圖的異質性(Heterogeneity of graph)
圖的異質性是異質圖的本質特征，不同類型的節點、邊有不同的特點，它們的features可能會落入不同維度的特征空間。我們仍然以IMDB為例，演員的features可能包括sex，age，nationality，電影的features可能包括plot，actors。因此，如何處理基於這樣復雜的結構的信息同時保留多元特征是一個亟待解決的問題。
1.2 語義級注意力(Semantic-level attention)
元路徑反映了異質圖復雜的語義信息，不同的元路徑可以提煉出不同的語義信息。如何挑選出最有用的元路徑是一個開放的問題。語義級注意力旨在學習每個元路徑的重要性，並且為它們分配不同的注意力權重。我們仍然以IMDB為例，電影終結者可以與電影終結者2通過都是由演員施瓦辛格主演相連，或者通過都是在年份1984年上映相連。然而，當我們考慮電影終結者的這兩種元路徑的重要程度時，MAM(Movie-Actor-Movie)相比於MYM(Movie-Year-Movie)通常來說會更加重要。因此，將所有的元路徑平等對待顯然會造成語義信息的丟失。
1.3 節點級注意力(Node-level attention)
在異質圖中，節點之間可以以多種類型的邊相連接，每一個節點都有一些基於不同元路徑的鄰域節點集。如何區分鄰域節點之間微妙的區別，並挑選出一些具有有效信息的鄰域節點。對於每一個節點，節點級注意力旨在學習基於元路徑的鄰域節點集的重要性，並且為這些鄰域節點們分配不同的注意力權重。我們仍然以IMDB為例，當我們選擇元路徑MDM(Movie-Director-Movie)時，電影終結者會同時與電影泰坦尼克號和電影終結者2通過共同的導演James Cameron相連。為了更好地確認電影終結者的類型為科幻片，我們的模型應該在電影終結者2上分配更多的注意力。因此，我們期望設計一種模型來挖掘不同鄰域節點之間的微妙差別並學習注意力權重。
1.4 本文貢獻(Contributions)
在文中，我們提出了一種全新的異質圖注意力網絡(Heterogeneous graph Attention Network,HAN)，它考慮了節點級注意力和語義級注意力。特別的，當我們給出節點的features作為模型輸入時，我們可以使用特定類型的轉換矩陣來將不同類型的節點的features投影到相同維度的向量空間中。接下來，節點級注意力將要學習節點與其基於不同元路徑下的鄰域節點集間的注意力值，然而語義級注意力將要學習不同元路徑的注意力。在學習了這兩種不同類型的注意力后，我們的模型可以學習到最佳的鄰域節點和元路徑的組合形式，使得節點嵌入能夠更好地捕捉異質圖復雜的結構信息和豐富的語義信息。在此之后，整體的模型可以通過端到端的反向傳播算法進行優化。本篇論文主要有以下貢獻：
- 首次提出基於異質圖的注意力機制學習算法
- 提出異質圖注意力網絡(Heterogeneous graph Attention Network,HAN)，可以捕獲語義信息，同時具有線性的復雜度，能夠學習大規模異質圖。
- 本算法經過大量實驗表明相比於當前最先進的算法具有更優越的性能，同時，本算法還發掘出了異質圖分析的巨大潛力。
2 相關工作(Related Work)
2.1 圖神經網絡(Graph Nerual Networks)
GNNs旨在將深度神經網絡擴展到圖這一數據結構中。近年來，出現了大量的關於擴展卷積操作到圖上的嘗試，它們大致分為兩派：頻域卷積和非頻域卷積。前者考慮通過傅立葉變換在圖的頻域定義卷積操作，最后逆傅立葉變換回到空域；后者則直接在圖的空域定義鄰域，進而定義卷積操作。注意力機制最近飽受熱議，它用於學習節點間的注意力權重，從而進行節點信息的更新。然而，上述方法都無法直接應用於異質圖。
2.2 圖嵌入(Network Embedding)
圖嵌入，換言之，圖表示學習(NRL)，是一種力圖在保留原始圖的結構和特性的前提下將圖嵌入到一個低維空間，從而便於將圖應用於下游任務中。例如，隨機游走算法(random walk)，深度神經網絡算法，矩陣分解算法，LINE算法等。然而，這些算法都是針對同質圖的。
異質圖嵌入最重要的是解決保留基於元路徑的結構信息的問題。而已有的異質圖嵌入算法都沒有采用注意力機制。
3 預備(Preliminary)
異質圖是一種特殊種類的數據結構，既包含了多種類型的節點，又包含了多種類型的邊。
3.1 異質圖(Heterogeneous Graph)
給定一個異質圖\(G=(V,E)\)，其中\(V\)為節點集，\(E\)為邊集。此外，異質圖還包括一個節點映射函數\(\phi:V\to A\) 和一個邊映射函數\(\psi:E\to R\)。其中\(A\)和\(R\)分別代表着一些預先定義的節點類型和邊類型，且\(|A|+|R| > 2\)。
3.2 基於元路徑的鄰域節點集(Meta-path based Neighbors)
給定一個節點i和一個元路徑\(\Phi\)，節點i基於元路徑的鄰域節點集表示為\(N_i^\Phi\)，它表示着與i共處於元路徑\(N_i^\Phi\)的所有節點。注意，節點i本身也屬於\(N_i^\Phi\)。
4 模型提出(The Proposed Model)
在本章中，我們提出了一個全新的異質圖半監督學習算法。我們的模型具有分級注意力結構：節點級注意力\(\to\)語義級注意力。首先，我們對每一條元路徑下的鄰域節點集學習節點級注意力，然后聚合各個鄰域節點集的節點級注意力得到語義級注意力，最后進行節點嵌入。（下表列出了與異質圖相關的符號及含義，下圖則表示出了HAN的整體框架）
在此之后，HAN能夠通過語義級注意力分辨出元路徑之間的區別並獲得特定語義的最佳權重來進行節點嵌入。
4.1 節點級注意力
節點級注意力實際上就是簡單的GAT的過程。
4.2 語義級注意力
4.3 模型分析
問題：
- HAN中的節點級注意力是不是就是在GAT的基礎上多了一個對於鄰域節點的預處理（把features映射到新的維度）？為什么要這么做？meta-path based neighbors 不應該是同質的嗎？
- 預處理的變換矩陣\(M\)是如何訓練的？
- GAT中的\(W\)和\(a\)是如何訓練的？