本文主要貢獻
- 新的分類模式：我們提出了一種新的圖神經網絡分類法。圖神經網絡分為四類：遞歸圖神經網絡、卷積圖神經網絡、圖自動編碼器和時空圖神經網絡。
- 全面的論述：我們提供了圖形數據的現代深度學習技術的最全面的概述。對於每種類型的圖神經網絡，我們提供了代表性模型的詳細描述，進行了必要的比較，並總結了相應的算法。
- 豐富的資源指導：我們收集了大量關於圖神經網絡的資源，包括最先進的模型、基准數據集、開源代碼和實際應用。本調查可作為理解、使用和開發針對各種實際應用的不同深度學習方法的實踐指南。
- 未來方向：我們討論了圖神經網絡的理論方面，分析了現有方法的局限性，並就模型深度、可伸縮性權衡、異構性和動態性提出了四個可能的未來研究方向。
組織結構
第二節概述了圖形神經網絡的背景，列出了常用的符號，並定義了與圖形相關的概念。
第三節闡明了圖神經網絡的分類
第四節-第七節概述了圖神經網絡模型
第八節提供了多領域的應用
第九節討論了當前的挑戰並提出未來的方向。
第十節總結了本文
常用符號
Λ是特征值(譜)的對角矩陣，Λii=λi
第二節主要內容
頻域論文
- Spectral Networks and Locally Connected Networks on Graphs：Bruna et al.(2013)[19]首次對基於光譜的卷積gnn進行了突出的研究，該研究基於光譜圖理論開發了一種圖卷積。
- Deep Convolutional Networks on Graph-Structured Data：譜域
- Convolutional Neural Networks on Graphs with Fast Localized Spectral Filtering：譜域
- Semi-Supervised Classification with Graph Convolutional Networks：譜域
空域論文
- Neural Network for Graphs: A Contextual Constructive Approach：空域圖卷積早期代表作品
- Diffusion-Convolutional Neural Networks：空域
- Learning Convolutional Neural Networks for Graphs：空域
GNN和Network Embedding的比較
什么是Network Embedding：
網絡嵌入的目的是將網絡節點表示為低維向量表示，既保留網絡拓撲結構又保留節點內容信息，以便后續的任何圖分析任務，如分類、聚類、推薦，可以輕松使用現成的簡單機器學習算法(如支持向量機分類)進行實現。
主要區別：
gnn和網絡嵌入的主要區別在於，gnn是一組神經網絡模型，是為各種任務而設計的，而網絡嵌入是針對同一任務而設計的各種方法。
圖神經網絡與圖核方法的比較
圖核歷來是解決圖分類問題的主要技術[36]，[37]，[38]。這些方法使用核函數來度量圖對之間的相似性，這樣基於核函數的算法(如支持向量機)就可以用於對圖的監督學習。
第三節主要內容
遞歸圖神經網絡
Learning Steady-States of Iterative Algorithms over Graphs：遞歸圖神經網絡代表
時空圖神經網絡
Spatial Temporal Graph Convolutional Networks for Skeleton-Based Action Recognition：人體動作識別
Structural-RNN: Deep Learning on Spatio-Temporal Graphs.：駕駛員行為預測
Spatio-Temporal Graph Convolutional Networks: A Deep Learning Framework for Traffic Forecasting：交通流量預測
圖神經網絡主要的框架
節點級
輸出與節點回歸和節點分類任務有關。recgnn和convgnn可以通過信息傳播/圖卷積提取高級節點表示。以多感知器或softmax層作為輸出層，gnn能夠以端到端方式執行節點級任務。
邊級別
輸出與邊分類和鏈路預測任務有關。以gnn中兩個節點的隱藏表示作為輸入，可以利用相似函數或神經網絡來預測邊的標簽/連接強度。
圖級別
輸出與圖分類任務相關。為了在圖級別上獲得緊湊的表示，gnn通常與池操作和讀出操作相結合。
An End-to-End Deep Learning Architecture for Graph Classification：圖分類
遞歸圖神經網絡和圖神經網絡的總結
第四節：遞歸圖神經網絡
The Graph Neural Network Model（***GNN）
節點的隱藏狀態更新函數：
是隨機初始化的
該狀態更新函數必須是收斂的
GraphESN
提高了GNN*的訓練效率
Gated Graph Neural Network (GGNN)
采用門控遞歸單元(GRU)作為遞歸函數，將遞歸減少到固定的步數。其優點是，它不再需要約束參數來確保收斂。
隱藏狀態更新函數：
GGNN采用bp -propagation through time (BPTT)算法來學習模型參數。對於大型圖來說，這可能是一個問題，因為GGNN需要在所有節點上多次運行循環函數，需要將所有節點的中間狀態存儲在內存中。
Stochastic Steady-state Embedding (SSE)
隨機穩態嵌入(SSE)提出了一種可擴展到大圖[18]的學習算法。
隨機與異步：它可以選擇采樣一批節點用於狀態更新，也可以采樣一批節點用於梯度計算。
為保持穩定性，將SSE的遞歸函數定義為歷史狀態和新狀態的加權平均，其形式為方程3
問題：
SSE並沒有通過反復應用方程3在理論上證明節點狀態會逐漸收斂到不動點。
第五節：卷積圖神經網絡
與遞歸圖神經網絡的區別
基於頻譜的ConvGNN
輸入信號x與過濾器g的卷積公式：
簡化公式：
Spectral Convolutional Neural Network (Spectral CNN)
假設
作為可學習的參數，考慮多通道（單個節點的特征為向量）的情況
核心公式：
該方法的問題：
- 對圖的任何擾動都會導致特征基的改變。
- 其次，學習的過濾器是域相關的，這意味着它們不能應用於具有不同結構的圖形。
- 特征分解的復雜度為O(n^3)
在后續工作中，ChebNet[21]和GCN[22]通過幾次近似和簡化降低計算復雜度為O(M)。
Chebyshev Spectral CNN (ChebNet)
卷積公式：
其中˜Λ=2Λ/λmax−in，˜Λ的值位於[−1，1]中。
下面這個公式可以優化公式7，且可以用數學歸納法證明：
改進后的卷積公式：
該公式的的優勢：
- 作為對Spectral CNN的改進，ChebNet定義的過濾器參數是獨立於圖參數的，這意味着過濾器可以獨立於圖的大小來提取局部特征。
CayleyNet
優勢：
CayleyNet在保持空間局部性的同時，表明ChebNet可以看作是CayleyNet的一個特例
★Graph Convolutional Network (GCN)★
GCN引入了ChebNet的一階近似。
假設K=1，λmax=2，方程8簡化為：
為了限制參數的數量並避免過度擬合，gcn進一步假設θ=θ0=−θ1
得到進一步定義的卷積公式：
為了允許多通道輸入和輸出，GCN將公式11修改如下：
經驗證明，使用
對GCN造成數值不穩定（隱藏節點狀態具有非常不同的尺度）。
為了解決這個問題，GCN使用了標准化技巧：
->
(
)
作為一種基於頻譜的方法，GCN也可以解釋為一種基於空間的方法。從基於空間的角度來看，GCN可以被認為是從節點的鄰域中聚集特征信息。
等式12可以表示為：
hv表示H中的一行
對GCN的一系列改進
Adaptive Graph Convolutional Network (AGCN) [40]
自適應圖卷積網絡(AGCN)[40]學習未由圖鄰接矩陣指定的隱藏結構關系。
它通過一個以兩個節點的特征為輸入的可學習距離函數來構造所謂的殘差圖鄰接矩陣。
Dual Graph Convolutional Network(DGCN) [41]
雙圖卷積網絡(DGCN)[41]引入了一種雙圖卷積體系結構，其中兩個圖卷積層並行。
基於空間的ConvGNNs
圖像可以被看作特殊的圖：
、
Neural Network for Graphs (NN4G)
圖的神經網絡(NN4G)[24]是與GNN*並行提出的，是基於空間的ConvGNN的第一個工作。
節點更新函數：
多通道形式：
一個不同之處在於，NN4G使用非標准化鄰接矩陣，這可能潛在地導致隱藏節點狀態具有非常不同的尺度。
Contextual Graph Markov Model (CGMM)
上下文圖馬爾可夫模型(CGMM)[47]提出了一種受NN4G啟發的概率模型。在保持空間局部性的同時，CGMM具有概率可解釋性的優點。
Diffusion Convolutional Neural Network (DCNN)
擴散卷積神經網絡(DCNN)[25]將圖的卷積視為擴散過程。它假設信息以一定的轉移概率從一個節點傳遞到其相鄰節點之一，使信息分布在幾輪后達到均衡。
卷積公式：
概率轉移矩陣：
DCNN將H(1)、H(2)、···、H(K)串聯在一起作為最終模型輸出。
Diffusion Graph Convolution(DGC)
由於擴散過程的平穩分布是概率轉移矩陣的冪級數之和，擴散圖卷積(DGC)[72]對每個擴散步驟的輸出進行求和，而不是級聯。
卷積公式：
PGC-DGCNN
使用轉移概率矩陣的冪意味着遙遠的鄰居對中心節點貢獻的信息非常少。PGC-DGCNN[46]增加了基於最短路徑的遙遠鄰居的貢獻。
卷積公式：
問題：
最短路徑鄰接矩陣的計算可能非常昂貴，最大為O(N3)。
Partition Graph Convolution (PGC)
分區圖卷積(PGC)[75]基於不限於最短路徑的某些標准將節點的鄰居划分到Q個組中。
PGC構造了Q個鄰接矩陣（每組一個）
然后，PGC將具有不同參數矩陣的GCN[22]應用於每個鄰居組，並對結果求和：
Message Passing Neural Network (MPNN)【一般框架】
消息傳遞神經網絡(MPNN)[27]概述了基於空間的ConvGNN的一般框架。
它將圖卷積看作一個消息傳遞過程，在這個過程中，信息可以直接沿着邊從一個節點傳遞到另一個節點。
MPNN運行K步消息傳遞迭代，讓信息進一步傳播。
卷積公式：
在導出每個節點的隱藏表示之后，hv(K)可以被傳遞到輸出層以執行節點級預測任務，或者被傳遞到a readout function以執行圖形級預測任務。
a readout function基於節點隱藏表示生成整個圖形的表示。它通常被定義為：
Graph Isomorphism Network (GIN)
圖同構網絡(GIN)[57]發現以前的基於MPNN的方法不能根據它們產生的圖嵌入區分不同的圖結構。
為了修正這一缺點，GIN通過一個可學習的參數
來調整中心節點的權重，其卷積公式為：
GraphSage【一般框架】
由於一個節點的鄰居數目可能從1個到1000個甚至更多不等，因此取一個節點的整個鄰居的大小是低效的。GraphSage[42]采用抽樣為每個節點獲得固定數量的鄰居。
它通過以下方式執行圖形卷積：
聚集函數對不同節點應該是不變的，例如均值、和或最大函數。
★Graph Attention Network (GAT)★
圖形注意網絡(GAT)[43]假定相鄰節點對中心節點的貢獻既不像GraphSage[42]那樣認為對中心節點貢獻度相同，也不像GCN[22]那樣預先確定(這種區別如圖4所示)
GAT使用注意力機制學習兩個節點之間的相對權重。
圖卷積公式：
Gated Attention Network (GAAN)
GAT假設注意力頭部的貢獻是相等的，而門控注意力網絡(GAAN)[48]引入了一種自我注意機制，該機制為每個注意力頭部計算額外的注意力得分。
GeniePath
除了在空間上應用圖注意力之外，GeniePath[55]進一步提出了一種類似LSTM的門控機制來控制圖卷積層之間傳播的信息流。
其他圖注意力模型
[88]J. B. Lee, R. Rossi, and X. Kong, “Graph classification using structural
attention,” inProc. of KDD. ACM, 2018, pp. 1666–1674.
[89]S. Abu-El-Haija, B. Perozzi, R. Al-Rfou, and A. A. Alemi, “Watch
your step: Learning node embeddings via graph attention,” inProc. of
NeurIPS, 2018, pp. 9197–9207.
Mixture Model Network (MoNet)【一般架構】
混合模型網絡(Monet)[44]采用了一種不同的方法來為節點的鄰居分配不同的權重。它引入節點偽坐標來確定節點與其鄰居之間的相對位置。一旦知道兩個節點之間的相對位置，權重函數就將該相對位置映射到這兩個節點之間的相對權重。通過這種方式，圖形過濾器的參數可以跨不同位置共享。在Monet框架下，現有的幾種manifolds方法，如測量CNN(GCNN)[90]、各向異性CNN(ACNN)[91]、樣條CNN[92；還有幾種現有的幾種圖方法，GCN[22]、DCNN[25]等，都可以通過構造非參數權函數來推廣為Monet的特例。此外，Monet還提出了一種具有可學習參數的高斯核來自適應地學習權函數。
將鄰居節點排序的相關圖卷積方法
PATCHY-SAN
PATCHY -SAN[26]根據每個節點的圖標簽對其鄰居進行排序，並選擇topq鄰居。圖的標簽本質上是節點得分，可以通過節點度、中心性和WeisfeilerLehman color[93]、[94]得到。由於每個節點現在都有固定數量的有序鄰居，圖結構數據可以轉換為網格結構數據。PATCHY-SAN采用標准的一維卷積濾波器來聚合鄰居特征信息，其中濾波器權重的順序與節點鄰居的順序相對應。PATCHY-SAN的排序准則只考慮圖結構，數據處理計算量大。
Large-scale Graph Convolutional Network (LGCN)
大規模圖卷積網絡[45]基於節點特征信息對節點的鄰居進行排序。對於每個節點，LGCN由其鄰域組成一個特征矩陣，並沿着每一列對該特征矩陣進行排序。將排序后的特征矩陣的前面q行作為中心節點的輸入數據。
提升訓練效率的模型
Fast Learning with Graph Convolutional Network (Fast-GCN)
快速學習與圖卷積網絡(FastGCN)[49]為每個圖卷積層采樣固定數量的節點，而不是像GraphSage[42]那樣為每個節點采樣固定數量的鄰居。它將圖卷積解釋為節點在概率測度下的嵌入函數的積分變換。采用蒙特卡羅近似和方差減少技術來促進訓練過程。由於FastGCN對每一層獨立地采樣節點，層間連接可能是稀疏的。
Huang等人[51]提出了一種自適應分層抽樣方法，其中下層的節點抽樣以上層的節點抽樣為條件。與FastGCN相比，該方法實現了更高的精度，但代價是采用了更復雜的采樣方案。
在另一項工作中，圖卷積網絡的隨機訓練(StoGCN)[50]使用歷史節點表示作為控制變量，將圖卷積的接受域大小減少到任意小的尺度。即使每個節點有兩個鄰居，StoGCN也能達到相當的性能。但是，StoGCN仍然需要保存所有節點的中間狀態，這對於大型圖來說是非常消耗內存的。
Cluster-GCN[58]使用圖聚類算法對子圖進行采樣，並對采樣子圖內的節點進行圖卷積。由於鄰域搜索也被限制在抽樣子圖內，Cluster-GCN能夠處理更大的圖，同時使用更深層的架構，在更少的時間和更少的內存。值得注意的是，ClusterGCN提供了對現有卷積gnn訓練算法的時間復雜度和存儲復雜度的直接比較。我們根據表四分析其結果。
頻譜模型和空間模型的比較
譜模型在圖形信號處理中有一定的理論基礎。通過設計新的圖形信號濾波器(例如，Cayley網[23])，可以構建新的ConvGNN。然而，由於效率、通用性和靈活性問題，空間模型比光譜模型更受歡迎。
- 首先，頻譜模型的效率低於空間模型。譜模型要么需要進行特征向量計算，要么需要同時處理整個圖。由於空間模型通過信息傳播直接在圖形域中執行卷積，因此空間模型對大型圖的可擴展性更強。計算可以在一批節點中執行，而不是在整個圖中執行。
- 其次，依賴於圖的傅立葉基的譜模型很難推廣到新的圖。他們假設有一個固定的圖。對圖的任何擾動都會導致特征基的改變。另一方面，基於空間的模型在每個節點上本地執行圖形卷積，其中權重可以很容易地跨不同的位置和結構共享。
- 第三，基於譜的模型僅限於在無向圖上操作。基於空間的模型更靈活地處理多源圖輸入，例如邊輸入[15]、[27]、[86]、[95]、[96]、有向圖[25]、[72]、有符號圖[97]和異構圖[98]、[99]，因為這些圖輸入可以容易地合並到聚集函數中。
圖池化模塊（Graph Pooling Modules）
在GNN生成節點特征之后，我們可以將它們用於最終任務。但是直接使用所有這些功能在計算上可能具有挑戰性，因此需要一種下采樣策略。根據目標和在網絡中扮演的角色，該策略被賦予不同的名稱：(1)池操作旨在通過對節點進行下采樣以生成更小的表示來減小參數的大小，從而避免過擬合、排列不變性和計算復雜性問題；(2)讀出操作主要用於基於節點表示來生成圖級表示。它們的機制非常相似。在本章中，我們使用池來引用應用於GNN的所有類型的下采樣策略。
在一些早期的工作中，圖粗化算法使用特征分解來根據圖的拓撲結構對圖進行粗化。然而，這些方法都存在時間復雜度問題。Graclus算法[100]是計算原始圖的聚類版本的特征分解的另一種選擇。最近的一些工作[23]使用它作為池化運算來粗化圖。
目前，由於在池化窗口中計算平均值/最大/和值很快，因此，平均值/最大/和合並是實現下采樣的最原始和最有效的方法：
Henaff等人[20]表明在網絡開始時執行簡單的最大/平均合並對於降低圖域中的維度和降低昂貴的圖傅里葉變換操作的成本特別重要。此外，一些文獻[17]、[27]、[46]也使用注意機制來增強均值/和匯集。
前述的池化方法主要考慮了圖的特征，忽略了圖的結構信息。最近，人們提出了一種可微池(DiffPool)[54]，它可以生成圖的層次表示。與所有以前的粗化方法相比，DiffPool不是簡單地對圖中的節點進行聚類，而是學習聚類分配矩陣S
S(k)由節點特征和圖拓撲結構生成
其核心思想是學習綜合的節點分配，它同時考慮了圖的拓撲和特征信息，因此方程28可以用任何標准的ConvGNN來實現。
然而，DiffPool的缺點是它在池化后生成稠密圖，此后計算復雜度變為O(N2)。
最近，SAGPool[102]方法被提出，它同時考慮節點特征和圖拓撲，並以自注意力的方式學習池化。
總體而言，池化是減小圖形大小的基本操作。如何提高池化算法的效率和計算復雜度是一個有待研究的問題。
第六節：圖自編碼器
GAE可用於學習網絡嵌入或生成新圖。表V中總結了選定的GAE的主要特性。
接下來，我們從網絡嵌入和圖生成兩個角度對GAE進行了簡要的回顧。
A. Network Embedding
網絡嵌入是節點的低維矢量表示，它保留了節點的拓撲信息。
GAE學習網絡嵌入，使用編碼器提取網絡嵌入，並使用解碼器強制網絡嵌入以保存圖的拓撲信息，例如PPMI矩陣和鄰接矩陣。
文章中介紹了不少方法，但是Network Embedding和我的下游任務關系不大，所以沒有記錄，如有需要，后面可以在研讀記錄。
B. Graph Generation
對於多個圖，GAE能夠通過將圖編碼為隱藏表示並解碼給定隱藏表示的圖結構來學習圖的生成分布。大多數用於圖生成的GAE都是為解決分子圖生成問題而設計的，在葯物發現中具有很高的實用價值。這些方法或者以序列方式或者以全局方式提出新的圖。
文章中也介紹了不少方法，但是Graph Generation和我的下游任務關系不大，所以沒有記錄，如有需要，后面可以在研讀記錄。
總結
簡單地說，序列方法是將圖線性化成序列。由於周期的存在，它們可能會丟失結構信息。全局方法會同時生成一個圖，但是不適用於大圖。
第七節：時空圖神經網絡
stgnn的任務可以是預測未來的節點值或標簽，或者預測時空圖的標簽。stgnn遵循兩個方向，基於rnn的方法和基於cnn的方法。
基於RNN的方法
大多數基於rnn的方法通過使用圖卷積[48]，[71]，[72]過濾輸入和傳遞到循環單元的隱藏狀態來捕獲時空依賴性。為了說明這一點，假設一個簡單的RNN采用這種形式:
插入圖卷積之后：
GCRN和DCRNN
另一個並行工作使用節點級rnn和邊緣級rnn來處理時間信息的不同方面。
Structural-RNN
structure-rnn[73]提出了一種遞歸框架，用於在每個時間步預測節點標簽。它包括兩種rnn，即節點rnn和邊rnn。每個節點和每條邊的時間信息分別通過節點rnn和邊rnn。為了整合空間信息，節點rnn將邊rnn的輸出作為輸入的一部分。由於對不同的節點和邊假設不同的rnn大大增加了模型的復雜性，因此它將節點和邊划分為語義組。同一語義組中的節點或邊共享相同的RNN模型，節省了計算成本。
基於CNN的方法
基於rnn的方法面臨耗時的迭代傳播和梯度爆炸/消失問題。
基於cnn的方法以非遞歸的方式處理時空圖，具有並行計算、穩定的梯度和低內存需求的優點。
如圖2d所示，基於cnn的方法將一維cnn層與圖卷積層交叉，分別學習時間和空間依賴性。
假設一個時空圖神經網絡的輸入是一個張量：
一維cnn層沿時間軸滑動x [:，i，:]來聚合每個節點的時間信息，而圖卷積層在x [i，:，:]上操作來聚合每個時間步長的空間信息。
CGCN
CGCN[74]將一維卷積層與ChebNet[21]或GCN[22]層集成。它通過將一個門控1D卷積層、一個圖卷積層和另一個門控1D卷積層按順序疊加，構造一個時空塊。
ST-GCN
ST-GCN[75]使用1D卷積層和PGC層組成一個時空塊(式20)。
學習靜態圖結構(學習靜態空間依賴)
前面的方法都使用預定義的圖結構。他們假設預定義的圖結構反映了節點間真正的依賴關系。然而，在一個時空設置中有許多圖形數據的快照，可以從數據中自動學習潛在的靜態圖形結構。為了實現這一點，Graph WaveNet[76]提出了一個自適應鄰接矩陣來進行圖卷積。自適應鄰接矩陣定義為：
學習動態圖結構(學習動態空間依賴)
學習潛在的靜態空間依賴關系可以幫助研究者發現網絡中不同實體之間可解釋和穩定的關聯。然而，在某些情況下，學習潛在的動態空間依賴性可以進一步提高模型的精度。例如，在一個交通網絡中，兩條道路之間的旅行時間可能取決於它們當前的交通狀況。
GaAN
GaAN[48]采用注意機制，通過基於rnn的方法學習動態空間依賴。
注意函數用於更新邊權值。
ASTGCN
ASTGCN[77]進一步包括空間注意函數和時間注意函數，通過基於cnn的方法學習潛在的動態空間依賴和時間依賴。
學習潛在空間依賴的共同缺點是需要計算每對節點之間的空間依賴權值，其代價為O(n^2)。
第八節：應用
該部分總結了基准圖形數據集、評估方法和開源實現。詳細介紹了GNN在各個領域的實際應用。
A. Data Sets
引文網絡由論文、作者以及它們之間的關系(如引文、作者和合著者)組成。雖然引文網絡是有向圖，但在評估模型在節點分類、鏈接預測和節點聚類任務方面的性能時，它們通常被視為無向圖。有三個流行的數據集，分別是CORA、Citeseer和Pubmed。CORA數據集包含2708種機器學習出版物，分為七類。Citeseer數據集包含3327篇科學論文，分成六類。Cora和Citeseer中的每篇論文都由一個熱點向量表示，該向量指示詞典中是否有單詞。PUBMED數據集包含19717種與糖尿病相關的出版物。Pubmed中的每篇論文都由詞頻-逆文頻(TF-IDF)向量表示。此外，DBLP是一個包含數百萬篇論文和作者的大型引文數據集，這些論文和作者來自計算機科學書目。DBLP的原始數據集可以在https://dblp.uni-trier.de上找到。DBLP論文引文網絡的處理版本由https://aminer.org/citation更新。
生化圖化學分子和化合物可以用原子為節點，化學鍵為邊的化學圖來表示。這類圖通常用於評估圖的分類性能。NCI-1和NCI-9數據集分別包含4110和4127種化合物，標記為它們是否具有阻礙人類癌細胞系生長的活性。MUTAG數據集包含188種硝基化合物，根據它們是芳香族化合物還是雜芳族化合物進行標記。D&D和蛋白質數據集將蛋白質表示為圖表，根據它們是酶還是非酶進行標記。PTC數據集由344種化合物組成，標記它們對雄性和雌性大鼠是否致癌。QM9數據集記錄了多達9個重原子的133885個分子的13個物理性質。煉金術數據集記錄了多達14個重原子組成的119487個分子的12個量子力學性質。另一個重要的數據集是蛋白質相互作用網絡(PPI)。它包含24個生物圖，節點由蛋白質表示，邊由蛋白質之間的相互作用表示。在PPI中，每個圖形都與一個人體組織相關聯。每個節點都標有其生物狀態。
社交網絡是由BlogCatalog和Reddit等在線服務的用戶互動形成的。BlogCatalog數據集是一個由博客作者及其社會關系組成的社交網絡。博客作者的分類代表了他們的個人興趣。Reddit數據集是由從Reddit論壇收集的帖子組成的無向圖。如果兩篇帖子包含同一用戶的評論，則這兩篇帖子是鏈接的。每個帖子都有一個標簽，指明它所屬的社區。
Others
值得一提的是，還有其他幾個數據集。MNIST數據集包含70000張大小為28×28的圖像，用10位數字進行標記。通過基於MNINST圖像的像素位置構造8個最近鄰圖，將MNINST圖像轉換為圖形。METR-LA是一個時空圖形數據集。它包含由洛杉磯縣高速公路上的207個傳感器收集的四個月的交通數據。該圖的鄰接矩陣由傳感器網絡距離和高斯閾值計算。Nell數據集是從永無止境的語言學習項目中獲得的知識圖譜。它由涉及兩個實體及其關系的三元組所代表的事實組成。
B. 評估和開源實現
節點分類和圖分類是評估RecGNN和ConvGNN性能的常用任務。
節點分類 在節點分類中，大多數方法在包括CORA、Citeseer、Pubmed、PPI和Reddit在內的基准數據集上遵循訓練/有效/測試的標准拆分。他們報告了多次運行的測試數據集的平均准確度或F1得分。方法的實驗結果摘要可以在補充材料B中找到。
圖分類 在圖分類中，研究者通常采用10倍交叉驗證(cv)對模型進行評價。然而，正如[132]所指出的，不同作品的實驗設置是模糊的，並不是統一的。特別是，[132]提出了在模型選擇和模型評估中正確使用數據分割的問題。一個經常遇到的問題是，每個折疊的外部測試集同時用於模型選擇和風險評估。[132]在標准化和統一的評價框架下比較gnn。另一種程序是雙cv方法，它使用外折cv進行模型評估，使用內折cv進行模型選擇。我們建議讀者參考[132]，對GNN圖形分類方法進行詳細和嚴格的比較。
開源實現為深度學習研究中的基線實驗工作提供了便利。在補充材料C中，我們提供了本文回顧的GNN模型的開源實現的超鏈接。值得注意的是，菲等人。[92]在PyTorch中發布了一個幾何學習庫，名為PyTorch Geometric4，它實現了許多GNN。最近發布了Deep Graph Library(DGL)5[133]，它在PyTorch和MXNet等流行的深度學習平台上提供了許多GNN的快速實現。
C. 實際應用
GNN在不同的任務和域中有許多應用。盡管可以由每類GNN直接處理的一般任務包括節點分類、圖分類、網絡嵌入、圖生成和時空圖預測，但是諸如節點群集[134]、鏈接預測[135]和圖划分[136]等其他與圖相關的任務也可以由GNN處理。我們詳細介紹了基於以下研究領域的一些應用。
計算機視覺
GNN在計算機視覺中的應用包括場景圖生成、點雲分類和動作識別。
識別視頻中包含的人類行為有助於從機器方面更好地理解視頻內容。一些解決方案檢測視頻剪輯中人體關節的位置。由骨骼連接的人體關節自然形成一個圖形。給定人類關節位置的時間序列，[73]，[75]應用STGNN來學習人類行動模式。
此外，GNN在計算機視覺中的應用方向還在不斷增加。它包括人-對象交互[144]、少鏡頭圖像分類****[145]、[146]、[147]、語義分割[148]、[149]、視覺推理[150]和問答[151]。
自然語言處理
交通流量預測
推薦系統
化學分子任務
其他
gnn的應用不限於上述領域和任務。將gnn應用於程序驗證[17]、程序推理[166]、社會影響預測[167]、對抗攻擊預防[168]、電子健康記錄建模[169]、[170]、腦網絡[171]、事件檢測[172]和組合優化[173]等問題已經有了探索。
【169】Choi E, Bahadori M T, Song L, et al. GRAM: graph-based attention model for healthcare representation learning[C]//Proceedings of the 23rd ACM SIGKDD international conference on knowledge discovery and data mining. 2017: 787-795
【170】Choi E, Xiao C, Stewart W F, et al. Mime: Multilevel medical embedding of electronic health records for predictive healthcare[J]. arXiv preprint arXiv:1810.09593, 2018.
【171】Kawahara J, Brown C J, Miller S P, et al. BrainNetCNN: Convolutional neural networks for brain networks; towards predicting neurodevelopment[J]. NeuroImage, 2017, 146: 1038-1049.