1）spatial-based methods define graph convolutions based on a node’s spatial relations
基於空間的方法根據節點的空間關系定義圖卷積
2）the spatial-based graph convolutions convolve the central node’s representation with its neighbors’ representations to derive the updated representation for the central node
基於空間的圖卷積將中心節點的表示與其鄰居的表示進行卷積，從而得到中心節點的更新表示
3）The spatial graph convolutional operation essentially propagates node information along edges. （information propagation/message passing）
空間圖卷積操作本質上是沿邊傳播節點信息。 (信息傳播/消息傳遞)
GNNs follow a neighborhood aggregation scheme, where the representation vector of a node is computed by recursively aggregating and transforming representation vectors of its neighboring nodes.
GNNs broadly follow a recursive neighborhood aggregation (or message passing) scheme, where each node aggregates feature vectors of its neighbors to compute its new feature vector. After k iterations of aggregation, a node is represented by its transformed feature vector, which captures the structural information within the node’s k-hop neighborhood. The representation of an entire graph can then be obtained through pooling, for example, by summing the representation vectors of all nodes in the graph.
- 真正的難點聚焦於鄰居結點數量不固定上，1）提出一種方式把非歐空間的圖轉換成歐式空間；2）找出一種可處理變長鄰居結點的卷積核在圖上抽取特征。
- 圖卷積的本質是想找到適用於圖的可學習卷積核。
- 卷積操作關心每個結點的隱藏狀態如何更新
- 核心在於聚合鄰居結點的信息
- GCN中通過級聯的層捕捉鄰居的消息，層與層之間的參數不同
一、部分空域模型：
1、NN4G [“Neural network for graphs: A contextual constructive approach,” Mar. 2009. ]
NN4G通過每一層具有獨立參數的組合神經結構來學習圖的相互依賴性。節點的鄰域可以通過架構的增量構建來擴展。NN4G通過直接總結節點的鄰域信息來執行圖的卷積。它還應用residual connections和skip connections來記憶每一層的信息。因此，NN4G的下一層節點狀態：
矩陣形式：
2、CGMM （Contextual graph Markov model）[“Contextual graph Markov model: A deep and generative approach to graph processing,” in Proc. ICML, 2018 ]
建立一個由概率模型層組成的深層架構的方法，這些概率模型學會以遞增的方式編碼結構化信息。上下文以一種有效且可伸縮的方式擴散到圖的頂點和邊緣。
處理結構化數據需要迎合改變規模大小和連接性的樣本，從這種可變性模式中提取有用的預測或探索性分析。They are able to learn both the hidden representation (state encoding) and the output function for classification or regression tasks.
基本的CGMM組件使用離散的隱藏狀態變量來建模一個圖，這些變量對頂點及其上下文的信息進行編碼。在保持空間局部性的同時，CGMM具有概率可解釋性的優點。
3、Diffusion CNN (DCNN) [ “Diffusion-convolutional neural networks,” in Proc. NIPS, 2016]
將圖的卷積看作是一個擴散過程。假設信息以一定的轉移概率從一個節點轉移到相鄰節點，使信息分布經過幾輪后達到均衡。
DCNN defines the diffusion graph convolution (DGC) as
the probability transition matrix P ： Rn×n is computed by P = D−1A. 對於一張graph而言，有N個node，每個node有F個feature，每個節點關注H hop以內的信息。此類模型刻畫了節點之間的高階信息，但是由於ＰK （表示兩個節點在隨機行走下Ｋ 跳可達概率）的計算復雜度為Ｏ（ｎ2K），難以擴展到大圖上．
注意，在DCNN中，隱藏表示矩陣H(k)與輸入特征矩陣X保持相同維數，而不是之前隱藏表示矩陣H(k−1)的函數。DCNN連接H(1)，H(2)，…，H(K)一起作為最終模型輸出。
如何從圖形結構數據中學習基於擴散的表示，並將其用作節點分類的有效基礎。the diffusion-convolution operation builds a latent representation by scanning a diffusion process across each node in a graph-structured input. 圖擴散可以被表示為一個矩陣冪級數，提供了一個直接的機制，包括實體的上下文信息，可以在多項式時間計算和有效地在GPU上實現。
DCNN的核心操作是從節點及其特性映射到從該節點開始的擴散過程的結果。與標准的CNNs不同，DCNN的參數是根據擴散搜索深度而不是它們在網格中的位置來綁定的。
4、DGC [ “Diffusion convolutional recurrent neural network: Data-driven traffic forecasting,” in Proc. ICLR, 2018]
由於擴散過程的平穩分布是概率轉移矩陣的冪級數的總和，DGC對每個擴散步驟的輸出進行求和而不是串聯。
使用轉移概率矩陣的冪意味着遙遠的鄰居對中心節點貢獻很少的信息。
5、PGC-DGCNN [“On filter size in graph convolutional networks,” in Proc. IEEE Symp. Ser. Comput. Intell. (SSCI), Nov. 2018]
PGC-DGCNN基於最短路徑增加了遙遠鄰居的貢獻。它定義了一個最短路徑鄰接矩陣S(j)。如果節點v到節點u的最短路徑長度為j，則S(j) v,u = 1，否則為0。用超參數r來控制感受野的大小，PGC-DGCNN引入了一個圖卷積操作，如下所示:
H(0) = X, and || represents the concatenation of vectors. The calculation of the shortest-path adjacency matrix can be expensive with O(n3) at maximum.
本質上更換了鄰接矩陣A，將不同路徑長度（最短）的結點進行分組聚合（|| 拼接），這樣最近的結點和最遠的結點的貢獻是均勻的。
6、PGC， Partition Graph Convolution [ “Spatial-temporal graph convolutional networks for skeleton-based action recognition,” in Proc. AAAI, 2018]
PGC根據一定的准則將節點的鄰居划分為Q組，而不局限於最短路徑。PGC根據每組定義的鄰域構造Q個鄰接矩陣。然后, PGC將具有不同參數矩陣的GCN應用於每個相鄰組，並對結果進行求和：
H(0) = X, ¯A( j ) = (˜D( j ))−(1/2)˜A( j )(˜D( j ))−(1/2), and ˜A( j ) = A( j ) + I.
7、MPNN， Message-Passing Neural Network [“Neural message passing for quantum chemistry,” in Proc. ICML, 2017]
消息傳遞神經網絡(MPNN)概述了基於空間的圖卷積的一般框架。消息傳播網絡（MPNN）立足於節點之間的信息傳播聚合，通過定義聚合函數的通用形式提出框架。它將圖卷積視為一種消息傳遞過程，在此過程中，信息可以沿着邊直接從一個節點傳遞到另一個節點。MPNN運行k步消息傳遞迭代，以讓信息進一步傳播。消息傳遞函數(即空間圖卷積)定義為：
Mk (·)為聚合函數， Uk (·)為更新函數。聚合函數作用於每個節點及其相鄰節點，得到節點的局部結構表達式。消息傳播網絡指出圖卷積的核心在於定義節點之間的聚合函數，基於聚合函數，每個節點可以表示為周圍節點和自身的信息疊加。
因此，該模型通過定義通用的聚合函數提出圖卷積網絡的通用框架．消息傳播網絡分為兩個步驟，
首先將聚合函數作用在每個節點及其鄰近節點上，得到節點的局部結構表達；
然后，將更新函數作用在自身和局部結構表達上，得到當前節點的新表達。
➢1）通過采樣，得到鄰域節點。
➢2）使用聚合函數來聚合鄰居節點的信息，獲得目標節點的embedding；
➢3) 利用節點上聚合得到的信息，來預測節點/圖的label;
最終學習到的結點表示可以進行結點級別任務，或者通過圖池化函數進行圖級別任務。
讀出函數根據節點隱藏表示生成整個圖的表示：
，where T denotes the total time steps.
MPNN通過假設Uk(·)、Mk(·)和R(·)的不同形式，可以覆蓋許多現有的GNN。
因此，MPNN框架可以通過不同的函數設置泛化幾種不同的模型。這里給出一個一般化GGNN（Gated Graph Neural Networks）的例子，GGNNs的函數設置是：
Aevw is the adjacency matrix, one for each edge label e. The GRU is the Gated Recurrent Unit. i and j are neural networks in function R.
8、GIN， graph isomorphism network [“How powerful are graph neural networks,” in Proc. ICLR, 2019]
圖同構網絡(GIN)發現，以往基於MPNN的方法無法根據圖區分不同的圖結構嵌入表示。為了修正這個缺點，GIN通過一個可學習的參數來調整中心節點的權值e(k)，通過進行圖卷積:
其中MLP(·)表示一個多層感知機。
Ideally, a maximally powerful GNN could distinguish different graph structures by mapping them to different representations in the embedding space.
if the neighbor aggregation and graph-level readout functions are injective(單射), then the resulting GNN is as powerful as the WL test.
對於可數集，單射性很好地表征了一個函數是否保持了輸入的特殊性。
The WL test iteratively (1) aggregates the labels of nodes and their neighborhoods, and (2) hashes the aggregated labels into unique new labels. The algorithm decides that two graphs are non-isomorphic if at some iteration the labels of the nodes between the two graphs differ.
WL測試迭代地(1)將節點及其鄰域的標簽進行聚合，(2)將聚合的標簽散列成唯一的新標簽。該算法判定兩個圖的非同構，如果在某個迭代時兩個圖之間節點的標簽不同。
均值聚合的能力大於最大值聚合的能力，小於求和聚合的能力。
9、GraphSage [ “Inductive representation learning on large graphs,” in Proc. NIPS, 2017]
由於節點的鄰居的數量可以從1個到1000個甚至更多，因此取節點鄰居的完整大小是低效的。GraphSage采用均勻隨機采樣的方法，為每個節點獲得固定數量的鄰居。它執行圖的卷積：
fk (·) is an aggregation function, and SN(v) is a random sample of the node v’s neighbors.
聚合函數應該對節點順序的排列不變，例如均值、和或最大值函數。圖采樣聚合網絡也提出用分批量（Mini-Batch）處理數據的方法訓練模型，在每個批量輸入數據下只需要加載對應節點的局部結構，避免了整張網絡的加載，這使得在大規模數據集上搭建圖卷積神經網絡成為可能．對於LSTM聚合函數，由於需要一種鄰居順序，所以采用了一種簡單的隨機順序。
10、GAT，Graph attention network [“Graph attention networks,” in Proc. ICLR, 2017]
GAT假設鄰近節點對中心節點的貢獻既不像GraphSage那樣完全相同，也不像GCN那樣預先確定。GAT采用注意機制來學習兩個連通節點之間的相對權值。根據GAT的圖卷積操作定義為：
g(·) is a LeakyReLU activation function and a is a vector of learnable parameters. The softmax function ensures that the attention weights sum up to one overall neighbors of the node v.
利用注意力系數對鄰域節點進行有區別的信息聚合，完成圖卷積操作。注意力權重將周圍節點（一階鄰域）的表達以加權和的形式聚合到自身。
對於多種注意力機制下的計算結果，圖注意力網絡提供了拼接和均值兩種計算方式。由GAT開始，節點之間的權重計算開始從依賴於網絡的結構信息轉移到依賴於節點的特征表達。
One of the challenges of these approaches is to define an operator which works with different sized neighborhoods and maintains the weight sharing property of CNNs.
One of the benefits of attention mechanisms is that they allow for dealing with variable sized inputs, focusing on the most relevant parts of the input to make decisions.
The attention architecture has several interesting properties: (1) the operation is efficient since it is parallelizable across node neighbor pairs; (2) it can be applied to graph nodes having different degrees by specifying arbitrary
weights to the neighbors; and (3) the model is directly applicable to inductive learning problems, including tasks where the model has to generalize to completely unseen graphs.
11、 GeniePath [ “GeniePath: Graph neural networks with adaptive receptive paths,” in Proc. AAAI Conf. Artif. Intell., Jul. 2019]
GeniePath進一步提出了一種類似lstm的門控機制來控制跨圖卷積層的信息流。提出了自適應感受野的 GNN 算法。但是該算法的並不是通過調整節點的領域來實現的，而將距離多跳（k-hop）的節點的信息存儲在 LSTM 的 memory 中，由神經網絡進行學習自動判斷哪些信息對於自己完成下游任務是有利的，而進行提取和過濾。🔗
一種學習基於排列不變圖數據的神經網絡自適應接受域的可擴展方法。在GeniePath中，提出了一種自適應路徑層，它由兩個互補的功能組成，分別用於廣度和深度的探索，前者學習不同大小鄰域的重要性，而后者則從不同跳點的鄰域中提取和過濾聚合的信號。提出的自適應路徑層直觀地指導了接受域的廣度和深度探索。因此，將這種自適應學習的接受領域稱為接受路徑。
To summarize, the major effort put on this area is to design effective aggregator functions that can propagate signals around the T-th order neighborhood for each node.
目標是學習對目標節點貢獻最大的有意義的接受路徑(陰影區域)，而不是聚集所有的2跳鄰居來計算目標節點的嵌入。有意義的路徑可以看作是與目標節點相關聯的子圖。需要做的是進行廣度/深度的探索，過濾有用的/有噪聲的信號。寬度探索決定了哪些鄰居是重要的，即引導探索的方向，而深度探索決定了有多少跳的鄰居仍然有用。這種子圖上的信號濾波本質上是學習接收路徑。
在置換不變圖的情況下，假設學習任務是獨立於鄰居的順序。目標是學習接受路徑，同時沿着已學習的路徑傳播信號，而不是預先定義的路徑。這個問題相當於通過對每個節點展開寬度(哪一個單跳鄰居重要)和深度(第t跳之外的鄰居的重要性)來確定合適的子圖。
我們可以將本文和 GAT 或者 GraphSAGE 等常用的非頻域的 GNN 框架的區別認為是在它們的基礎上加了 memory（通過 LSTM 實現）。存儲通過一階鄰域進行的信息傳遞得到的高階領域節點的信息。所謂的自適應，自學習，其實就是通過 LSTM 的門對 LSTM 的 memory 所存儲的高階領域信息的提取和過濾 （分別對應遺忘門和輸出門）所體現的。而一階鄰域和高階領域的信息交互體現在 LSTM 的輸入門。
12、MoNet， Mixture model network [“Geometric deep learning on graphs and manifolds using mixture model CNNs,” (CVPR), Jul. 2017]
該方法可以有效地將CNN結構引入到圖上。提出了一個統一的框架，允許將CNN體系結構推廣到非歐幾里得域(圖和流形)，並學習局部、平穩和合成任務特定的特征。
The main contribution of this paper is a generic spatial domain framework for deep learning on non-Euclidean domains such as graphs and manifolds.
混合模型網絡(MoNet)采用了不同的方法對節點的相鄰節點分配不同的權值。它引入節點偽坐標來確定節點與相鄰節點的相對位置。一旦知道了兩個節點之間的相對位置，權重函數將相對位置映射為這兩個節點之間的相對權重。這樣，圖過濾器的參數可以在不同的位置共享。MoNet還提出了一個參數可學習的高斯核來自適應地學習權函數。特別地，證明了patch算子可以被構造成局部圖的函數或流形偽坐標，並研究了一組用高斯核混合表示的函數。
13、PATCHY-SAN🔗 [“Learning convolutional neural networks for graphs,” in Proc. ICML, 2016]
PATCHY-SAN根據每個節點的圖標簽對其鄰居進行排序，並選擇頂部的q鄰居。圖標簽本質上是節點評分，可以通過節點度、中心性和Weisfeiler Lehman (WL)顏色來推導。由於每個節點現在都有固定數量的有序鄰居，因此可以將圖結構數據轉換為網格結構數據。PATCHY-SAN應用一個標准的1-D卷積濾波器來聚合鄰域特征信息，其中濾波器權重的順序對應於節點的鄰域的順序。PATCHY-SAN的排序准則只考慮圖的結構，圖的數據處理需要大量的計算量。
14、LGCN [ “Large-scale learnable graph convolutional networks,” ACM SIGKDD, Aug. 2018]
large-scale GCN (LGCN)根據節點特征信息對節點的鄰居進行排序。對於每個節點，LGCN組裝一個由其鄰域組成的特征矩陣，並沿着每列對該特征矩陣進行排序。將排序后的特征矩陣的q行作為中心節點的輸入數據。LGCN也利用cnn作為聚合器。對節點鄰域矩陣進行最大pooling，得到top-k特征元素，然后應用1-D CNN計算隱藏表示。
15、 FastGCN
FastGCN對每個圖的卷積層采樣固定數量的節點，而不是像GraphSage那樣對每個節點采樣固定數量的鄰居。它將圖的卷積解釋為節點嵌入函數在概率測度下的積分變換。采用蒙特卡羅近似和方差減少技術來簡化訓練過程。由於FastGCN為每一層獨立地采樣節點，層間連接可能是稀疏的。Huang等人提出了一種自適應分層抽樣方法，下層節點的抽樣條件是上層節點的抽樣。與FastGCN相比，該方法獲得了更高的精度，但采用了更復雜的采樣方案。
PinSage提出了基於重要抽樣方法（importance-based sampling）。通過模擬從目標節點開始的隨機行走，該方法選擇具有最高標准化訪問次數的T個節點。FastGCN進一步改進了采樣算法。FastGCN不是對每個節點進行鄰居采樣，而是直接對每一層的接受域進行采樣。FastGCN使用重要性抽樣，其重要性因子計算如下
16、 StoGCN
通過使用歷史節點表示作為控制變量，StoGCN進行隨機訓練，將圖卷積的接受野減小到任意小的規模。即使每個節點有兩個鄰居，StoGCN也可以獲得相當的性能。然而，StoGCN仍然需要保存所有節點的中間狀態，這對於大型圖來說是消耗內存的。
17、 Cluster-GCN
Cluster-GCN使用圖聚類算法對一個子圖進行采樣，並對采樣的子圖內的節點進行圖卷積。由於鄰域搜索也被限制在采樣的子圖中，因此Cluster-GCN能夠同時處理更大的圖，使用更深層的架構，並且用更少的時間和更少的內存。值得注意的是，Cluster- GCN為現有ConvGNN訓練算法的時間復雜度和內存復雜度提供了一個直觀的比較。
二、 圖池化操作（downsampling strategy）
1）pooling operation：池化操作的目的是通過降低節點采樣以生成更小的表示，從而減少參數的大小，從而避免過擬合、置換不變性和計算復雜度問題。
2）readout operation：讀取操作主要用於基於節點表示生成graph-level表示。它們的機制非常相似。
池化算子一方面能夠減少學習的參數，另外一方面能反應輸入數據的層次結構．在圖結構中使用池化操作，主要目的是刻畫出網絡的等級結構．
圖上的池化操作通常對應的是圖分類任務，對於圖Ｇ＝（Ａ，Ｘ），其中Ａ 為鄰接矩陣，Ｘ 為節點的特征矩陣，給定一些標注的圖數據Ｄ＝｛（Ｇ１，ｙ１），（Ｇ２，ｙ２），…｝和圖對應的標簽集合Ｙ，通過一個映射函數ｆ：Ｇ→Ｙ，能夠將圖結構映射到對應的標簽．
1、graph coarsening algorithms
在一些早期的研究中，圖粗化算法利用特征分解對圖進行基於拓撲結構的粗化。然而，這些方法都存在時間復雜度問題。Graclus算法是對原始圖進行特征分解計算聚類版本的一種替代方法。
2、mean/max/sum pooling
目前，由於在池窗口中計算均值/最大值/總和的速度快，均值/最大值/總和池是實現下采樣最原始、最有效的方法：
K is the index of the last graph convolutional layer.
Henaff等人表明，在網絡開始時執行一個簡單的max/mean pooling對於降低圖域的維數和減少昂貴的圖傅里葉變換操作的代價尤為重要。此外，一些工作也使用了注意機制來增強均值和池。即使有注意機制，減少操作(如和池)也不能令人滿意，因為它使嵌入效率低下;無論圖的大小如何，都會生成固定大小的嵌入。
3、 Set2Set method
Set2Set方法來生成隨着輸入大小增加的記憶。隨后它實現一個LSTM，用於在下采樣可能破壞信息之前，將依賴序列順序的信息集成到內存嵌入中。
4、 ChebNet
Defferrard等人用另一種方式解決了這個問題，即以一種有意義的方式重新排列圖中的節點。他們在他們的方法ChebNet中設計了一個有效的集中策略，即首先將輸入圖粗化到多個層次。粗化后，輸入圖及其粗化版本的節點被重新排列成平衡二叉樹。任意地從下到上聚合平衡二叉樹會將相似的節點排列在一起。將這樣重新安排的信號合用比將原始信號合用效率高得多。
5、 SortPooling
Zhang等人提出了具有類似池策略的DGCNN，名為SortPooling，即通過將節點重新安排到一個有意義的順序來執行池化。與ChebNet不同，DGCNN根據節點在圖中的結構角色對節點進行排序。空間圖卷積產生的圖的無序節點特征被視為連續的WL顏色，然后使用它們對節點進行排序。除了對節點特征進行排序，它還通過截斷/擴展節點特征矩陣將圖的大小統一到 q。如果有 n>q，則刪除最后的 n−q 行，否則添加 q−n 行。
6、 DiffPooling
上述的pooling方法主要考慮圖的特征，而忽略了圖的結構信息。最近一種可微池（DiffPool）被提出，它可以生成圖的層次表示。與之前所有粗化方法相比，DiffPool並不是簡單地對圖中的節點進行聚類，而是學習第 k層上的聚類分配矩陣 .
其核心思想是學習綜合考慮圖的拓撲和特征信息的節點分配，因此上述等式可以用任何標准圖卷積神經網絡實現。然而，DiffPool的缺點是池化后生成稠密圖，計算復雜度變成O(n2)。該模型被用來做軟聚類和網絡節點表示學習，其需要存儲分配矩陣，因此空間復雜度為Ｏ（ｋＶ２），ｋ為池化比例．
7、EignPooling
為了在池化過程中充分利用節點特征和局部結構，譜池化（EignPooling）利用譜聚類將整個大圖划分成幾個不存在重疊的子圖，而每個子圖即作為池化后的一個新節點，新節點間的連邊則基於原子圖連邊產生．EignPooling可以控制每次划分后的子圖個數，進而控制每一層的池化比例．下圖展示了將EignPooling池化算子和一階圖卷積神經網絡結合，完成圖分類任務的框架。
8、ASGPool
基於注意力機制的池化算子（ASGPool ）同樣着眼於在池化過程中同時考慮節點屬性信息和結構信息，ASGPool 基於注意力機制通過結構和屬性信息為每個節點學到一個標量，以此標量表征對應節點在整個圖上的重要性，並對此標量進行排序，根據排序結果保留最重要的一部分節點及其連邊進而完成池化操作．
池化算子是為了學到圖的等級結構，進而完成圖級別的任務．起初的池化算子基於圖的拓撲結構，啟發式的定義一些節點的舍棄或者融合方式，近期，池化算子不僅依賴於拓撲結構，同樣依賴於節點的屬性信息，同時池化過程也開始通過注意力機制參數學習等由模型指導完成．
General Frameworks：
不同的綜述有不同的分類，這里結合參考[1]和[2]:
1）Message Passing Neural Networks （MPNN）：見前面分析，
2）Non-local Neural Networks（NLNN）
提出了利用深度神經網絡捕獲遠程依賴關系的非局部神經網絡。非局部運算是計算機視覺中經典的非局部平均運算的推廣。非局部運算將某一位置的響應計算為所有位置特征的加權和。位置集可以是空間、時間或時空。因此，NLNN可以看作是不同的“self-attention”的統一。
the general definition of non-local operations：
where i is the index of an output position and j is the index that enumerates all possible positions. f(hi; hj) computes a scalar between i and j representing the relation between them. g(hj) denotes a transformation of the input hj and a factor 1/C(h) is utilized to normalize the results.
有幾個實例化具有不同的f和g設置。為了簡單起見，使用線性變換作為函數g，即g(hj) =Wghj，其中wg是一個學習過的權值矩陣。下面我們列出函數f的選項。
①高斯函數Gaussian.。高斯函數是根據非局部均值和雙邊濾波器的自然選擇。因此
，dot-product similarity
②Embedded Gaussian：通過計算嵌入空間中的相似度，可以很直觀地擴展高斯函數
③Dot product：The function f can also be implemented as a dot-product similarity:
，
④ Concatenation
，
，wf is a weight vector projecting the vector to a scalar
3）Graph Networks
圖網絡(GN)框架是對各種圖神經網絡、MPNN和NLNN方法的總結和擴展。GN核心計算單元GN塊及其計算步驟：
Graph networks (GNs) proposed a more general framework for both GCNs and GNNs that learned three sets of representations: 
as the representation for nodes, edges, and the entire graph, respectively. These representations were learned using three aggregation and three updating functions:
綜上所述，卷積運算已經從頻譜域發展到空間域，從多步鄰域發展到直接鄰域。目前，從最近鄰收集信息並遵循上述的框架，是圖卷積操作最常見的選擇。
Applications：
圖神經網絡已經在監督，半監督，無監督和強化學習設置的問題領域的廣泛探索。
簡單地將應用划分為三種場景:
(1)數據具有顯式關系結構的結構化場景，如物理系統、分子結構和知識圖;
(2)關系結構不明確的非結構化場景，包括圖像、文本等;
(3)生成模型、組合優化問題等其他應用場景。
對於Non-structural Scenarios 將圖神經網絡應用於非結構化場景的方法大致有兩種:
(1)結合其他領域的結構化信息來提高性能，例如利用知識圖信息來緩解圖像任務中的零射擊問題;
(2)推斷或假設場景中的關系結構，然后應用模型解決定義在圖上的問題，如模型文本化為圖的方法。
參考：
1： A Comprehensive Survey on Graph Neural Networks
2：Deep Learning on Graphs: A Survey
2:：圖卷積神經網絡綜述
其他總結：🔗
GNN 教程(特別篇)：一文遍覽GNN的代