圖神經網絡小結
簡單的圖的參數介紹: \(\mathcal { G } = ( V , E , A )\)
- V(N個)是節點集合, 只描述了存在的節點
- E是邊集合, 只描述了存在的連接(邊)
- A(NxN)是圖的鄰接矩陣, 描述了節點之間的連接關系, 當對應的邊eij(連接vi,vj的邊)存在的時候, 則對應的Aij = wij > 0, 若eij不存在, 則Aij = 0
- D(NxN)是圖的度矩陣, 描述了節點自身連接的邊的數目, 是對角矩陣, \(D_{ii} = ( \sum A_i)\)
- X(NxF)是節點屬性矩陣, 每個節點對應擁有一個長為F的屬性向量, 圖可以用節點屬性來關聯
- L(NxN)是圖的拉普拉斯矩陣, 歸一化的拉普拉斯矩陣是圖的一個魯棒的數學表示. \(L=D-A, L_n=I_n-D^{-1/2}AD^{-1/2}\), 歸一化圖拉普拉斯矩陣具有實對稱半正定的性質, 也就是可以進行特征分解得到特征值和特征向量.
圖神經網絡分類
圖網絡有很多結構, 這里按照最新的綜述論文 A Comprehensive Survey on Graph Neural Networks 文中的分類方式, 主要分為:
- graph convolution networks
- graph attention networks
- graph auto-encoders
- graph generative networks
- graph spatial-temporal networks
這里主要介紹圖卷積網絡GCN. 因為GCN在捕獲結構化依賴上扮演着中心角色.
GCN: 由譜方法到空域方法
Inspired by the huge success of convolutional networks in the computer vision domain, a large number of methods that re-define the notation of convolutionfor graph data have emerged recently.
These approaches are under the umbrella of graph convolutional networks (GCNs). The first prominent research on GCNs is presented in Bruna et al. (2013), which develops a variant of graph convolution based on spectral graph theory [20]. Since that time, there have been increasing improvements, extensions, and approximations on spectral-based graph convolutional networks [12], [14],[21], [22], [23].
As spectral methods usually handle the whole graph simultaneously and are difficult to parallel or scale to large graphs, spatial-based graph convolutional networks have rapidly developed recently [24], [25], [26],[27]. These methods directly perform the convolution in the graph domain by aggregating the neighbor nodes' information. Together with sampling strategies, the computation can be performed in a batch of nodes instead of the whole graph[24], [27], which has the potential to improve the efficiency.
GCN概述
將應用於傳統數據的卷積操作, 泛化到了圖數據上面. 關鍵是學習一個函數f, 來通過集成自己和鄰居的特征生成節點的表示. GCN在構建其他復雜的圖神經網絡的任務上, 扮演着重要的角色. 包括auto-encoder-based models, generative models, spatial-temporal networks等.
對於GCN而言, 在集成鄰居的過程的時候, 使用的權重是無參數的, 而GAN(圖注意力網絡)使用了一個端到端神經網絡架構捕獲的權重, 來使得更重要的節點擁有更大的權重.(這里更多的是表述空域的GCN)
對於圖卷積網絡, 其實是在嘗試通過圖譜理論或者局部空間來定義圖卷積的方式來在圖數據上復制CNN的成功.
GCN的輸出機制
使用圖結構和節點內容信息作為輸入, GCN的輸出使用以下不同的機制, 可以關注於不同的圖分析任務.
- 節點級輸出與節點回歸和分類任務相關. 圖卷積模塊直接給出節點潛在的表達, 多層感知機或者softmax層被用作最終的GCN層.
- 邊級輸出與邊分類和連接預測任務相關. 為了預測邊的標記和連接強度, 一個附加函數將會把來自圖卷積模塊的兩個節點的潛在表達作為輸入.
- 圖級輸出與圖分類任務有關. 為了獲取一個圖級的緊湊表達, 池化模塊被用來粗化圖到子圖, 或用來加和/平均節點表達.
這里有一個總結的表, 總結了主要方法的情況:
對於圖卷積網絡, 是可以通過半監督/全監督/無監督的方式進行端到端訓練的, 注意取決於學習任務和標簽信息的獲取.
GCN的不同方法
- 譜方法通過從圖信號處理的視角引入濾波器來定義圖卷積, 這里圖卷積操作被解釋為移除圖信號中的噪聲
- 空域方法將圖卷積表達為從鄰域中集成特征信息的過程.
- 當GCN在節點等級上操作的時候, 圖池化模塊, 可以超入到GCN層中, 來粗化圖到高級的子圖. 這樣一個結構被用來提取圖級表達和處理圖分類任務.
基於譜方法的GCN
初始
基於圖信號處理的知識, 圖上的卷積可以被定義為: \(\mathbf { x } * _ { G } \mathbf { g } _ { \theta } = \mathbf { U } \mathbf { g } _ { \theta } \mathbf { U } ^ { T } \mathbf { x }\)
其中\(\mathbf { g } _ { \theta } = \operatorname { diag } \left( \mathbf { U } ^ { T } \mathbf { g } \right)\)表示濾波器. 可以看做是L特征值的函數, 也就是 \(g _ { \theta } ( \Lambda )\).
這里有\(\mathbf { x } \in \mathbf { R } ^ { N }\), xi表示第i個節點的值(這里相當於節點的特征向量長度只有1).
這個等式計算消耗大, 計算L的特征分解對於大圖來說可能是非常昂貴的.
在后續的改進中, 這里的信號的設定被進一步擴展, 輸入信號表示為: \(\mathbf { X } ^ { k } \in \mathbf { R } ^ { N \times f _ { k - 1 } }\), 這里\(f_k-1\)表示輸入通道數, \(f_k\)表示輸出通道數. 濾波器也整合表示為\(\mathbf { g } _ { \theta } = \Theta _ { i , j } ^ { k }\), 表示為:
\(\mathbf { X } _ { : , j } ^ { k + 1 } = \sigma \left( \sum _ { i = 1 } ^ { f _ { k - 1 } } \mathbf { U } \Theta _ { i , j } ^ { k } \mathbf { U } ^ { T } \mathbf { X } _ { \mathbf { s } , i } ^ { k } \right) \quad \left( j = 1,2 , \cdots , f _ { k } \right)\)
這里的 \(\sigma\) 表示的是一個非線性轉換.
切比雪夫K階截斷: ChebNet
之后有人利用切比雪夫多項式來近似表示了濾波器, 進一步簡化了公式的計算:
\(\mathbf { g } _ { \theta } = \sum _ { i = 1 } ^ { K } \theta _ { i } T _ { k } ( \tilde { \boldsymbol { \Lambda } } ) ,\) where \(\tilde { \boldsymbol { \Lambda } } = 2 \Lambda / \lambda _ { \max } - \mathbf { I } _ { \mathrm { N } }\)
Chebyshev polynomials are defined recursively by \(T _ { k } ( x ) = 2 x T _ { k - 1 } ( x ) - T _ { k - 2 } ( x )\) with \(T _ { 0 } ( x ) = 1\) and \(T _ { 1 } ( x ) = x\)
因此卷積操作進一步表示為:
\(\begin{aligned} \mathbf { x } * _ { G } \mathbf { g } _ { \theta } & = \mathbf { U } \left( \sum _ { i = 1 } ^ { K } \theta _ { i } T _ { k } ( \tilde { \boldsymbol { \Lambda } } ) \right) \mathbf { U } ^ { T } \mathbf { x } \\ & = \sum _ { i = 1 } ^ { K } \theta _ { i } T _ { i } ( \tilde { \mathbf { L } } ) \mathbf { x } \\ \text { where } \tilde { \mathbf { L } } = 2 \mathbf { L } / \lambda _ { \max } - \mathbf { I } _ { \mathrm { N } } \end{aligned}\)
這個時候, 可以看這個表達式, 這個卷積的計算只依賴於中心節點的K階鄰居.(K步以內可達的節點). 而且這樣定義的濾波器也是稀疏的.
一階ChebNet
當前面的公式中, K=1的時候, 並且使得 \(\lambda_{max}=2\), 則進一步簡化為:
\(\mathbf { x } * _ { G } \mathbf { g } _ { \theta } = \theta _ { 0 } \mathbf { x } - \theta _ { 1 } \mathbf { D } ^ { - \frac { 1 } { 2 } } \mathbf { A } \mathbf { D } ^ { - \frac { 1 } { 2 } } \mathbf { x }\)
為了進一步減少參數, 以避免過擬合, 這里進行了進一步簡化, 讓兩個 \(\theta\) 相反. 也就是\(\theta = \theta _ { 0 } = - \theta _ { 1 }\), 這就得到了最終簡化后的定義:
\(\mathbf { x } * _ { G } \mathbf { g } _ { \theta } = \theta \left( \mathbf { I } _ { \mathbf { n } } + \mathbf { D } ^ { - \frac { 1 } { 2 } } \mathbf { A } \mathbf { D } ^ { - \frac { 1 } { 2 } } \right) \mathbf { x }\)
這里最終表示為:
\(\mathbf { X } ^ { \mathbf { k } + \mathbf { 1 } } = \tilde { \mathbf { A } } \mathbf { X } ^ { \mathbf { k } } \Theta\)
where \(\tilde { \mathbf { A } } = \mathbf { I } _ { \mathbf { N } } + \mathbf { D } ^ { - \frac { 1 } { 2 } } \mathbf { A } \mathbf { D } ^ { - \frac { 1 } { 2 } }\)
通過一階ChebNet定義的圖卷積在空間上是局部的, 這彌補了譜方法與空域方法的差別. 輸出的每行表示每個節點通過一個加權集成了自身和相鄰節點的信息了的線性轉換來獲得的潛在表征.
然而, 一階ChebNet主要的問題是, 在批量訓練過程中，隨着1stChebNet層數的增加，計算代價呈指數增長. 最后一層中的每個節點必須在以前的層中遞歸地擴展其鄰域. 一些工作已這對這些問題進行了改進.
自適應圖卷積網絡AGCN
為了探索沒有被圖拉普拉斯矩陣指定的隱藏結構關系, 有人提出了AGCN, AGCN用一個所謂的殘差圖來擴充一個圖，這個圖是通過計算節點之間的成對距離來構造的, 盡管能夠捕獲互補的關系信息, 但是它的計算復雜度為\(O(N^2)\).
譜方法小結
譜方法主要依賴於拉普拉斯矩陣的分解, 它有三種影響:
- 首先，對圖的任何擾動都會導致特征基的改變。
- 其次，學習的過濾器是域相關的，這意味着它們不能應用於具有不同結構的圖。
- 第三，特征分解需要\(O(N^3)\)的計算和\(O(N^2)\)的內存。
對於譜方法, 通常它們都需要載入整個圖到內存中, 來應用圖卷積, 這對於處理大的圖來說, 不是很有效率.
基於空域方法GCN
空域方法定義卷積主要基於節點的空間關系. 為了關聯圖和圖像, 圖像的每個像素認為是節點. 每個像素直接連接到它的相鄰像素.
由於相鄰節點的特殊排序，可訓練權值可以在不同的位置共享。類似地，對於一般圖，基於空間的圖卷積采用中心節點表示和其鄰居表示的聚合來獲得該節點的新表示。為了探索節點感受域的深度和寬度，通常的做法是將多個圖形卷積層堆疊在一起.
根據卷積層疊加方法的不同，空間GCN又可分為基於遞歸(recurrent-based)的GCN和基於合成(composition-based)的空間GCN兩大類. 基於遞歸的方法使用相同的圖卷積層來更新隱藏表示，而基於合成的方法使用不同的圖卷積層來更新隱藏表示.
基於遞歸的空間GCN(Recurrent-based Spatial GCNs)
基於遞歸的方法主要想法是更新節點節點的隱藏狀態直到得到一個穩定的固定點. 這是通過施加對遞歸函數的約束，或者使用門控遞歸單元結構，或者異步地和隨機地更新節點潛在表示。
圖神經網絡GNN(特指早期的一種結構)
這是圖神經網絡的早期工作, GNN遞歸更新節點的潛在表征, 直到收斂. 換句話說，從擴散過程的角度來看，每個節點與鄰居交換信息直到達到平衡為止。
為了處理異質圖(heterogeneous graph), 這類GNN的空間圖卷積被定義為
\(\mathbf { h } _ { v } ^ { t } = f \left( 1 _ { \mathbf { v } } , 1 _ { c o } [ v ] , \mathbf { h } _ { n e } ^ { t - 1 } [ v ] , \mathbf { l } _ { n e } [ v ] \right)\)
這里使用了針對節點v的標簽屬性, 邊的標簽屬性, 其鄰居在時間步t的隱藏表征, 以及其鄰居的標簽屬性.
為了確保收斂, 遞歸函數必須是一個約束映射, 這個會在映射之后壓縮兩點之間的距離. 若f()是一個神經網絡, 那么一個懲罰項就會使用在參數的Jacobian矩陣上.
Jacobian矩陣是一階偏導數以一定的方式排列成的矩陣.
GNN使用Almeida-Pineda算法來訓練模型. 核心思想是通過運行傳播過程到達固定點，然后給出收斂解的后向過程.
門控圖神經網絡(GGNN)
GGNN使用門控遞歸單元(GRU)作為遞歸函數, 來講遞歸降低為一個固定的步數.
GGNN的空間圖卷積定義為:
\(\mathbf { h } _ { v } ^ { t } = G R U \left( \mathbf { h } _ { v } ^ { t - 1 } , \sum _ { u \in N ( v ) } \mathbf { W h } _ { u } ^ { t } \right)\)
不同於GNN, GGNN使用基於時間的反向傳播算法(BPTT)來學習參數, 它的優勢在於不用再學習約束參數來確保收斂了. 然而，BPTT訓練的缺點是它犧牲了時間和存儲的效率. 尤其是在處理大圖的時候, GGNN會在所有節點上運行遞歸函數多次, 需要所有節點的中間態被存儲下來.
隨機穩態嵌入SSE
為了提升學習效率, SSE算法用來隨機地更新節點的潛在表征, 以一種異步的方式. 下面是SSE的迭代算法.
如上, SSE迭代評估節點潛在表征並且使用抽樣的批數據更新參數.
為了確保收斂到穩態, 遞歸函數被定義為一個歷史狀態和新狀態的加權平均.
\(\mathbf { h } _ { \mathbf { v } } ^ { t } = ( 1 - \alpha ) \mathbf { h } _ { \mathbf { v } } ^ { t - 1 } + \alpha \mathbf { W } _ { \mathbf { 1 } } \sigma \left( \mathbf { W } _ { 2 } \left[ \mathbf { x } _ { \mathbf { v } } , \sum _ { u \in N ( v ) } \left[ \mathbf { h } _ { \mathbf { u } } ^ { t - 1 } , \mathbf { x } _ { \mathbf { u } } \right] \right] \right) \; (10)\)
上式中, 第二項應該是新的結果, 結合第一項的歷史狀態, 可以得到新的真正的狀態.
雖然對鄰域信息的求和隱含地考慮了節點度，但這種求和的規模是否影響該算法的穩定性仍是個問題.
基於合成的空間GCN(Composition Based Spatial GCNs)
基於合成的方法更新節點表征, 通過堆疊多個圖卷積層.
消息傳遞神經網絡(MPNN)
MPNN包含兩個階段, 消息傳送階段(message passing phase)和讀出階段(readout phase). 消息傳送階段實際上運行T步的空間圖卷積. 圖卷積操作通過消息函數\(M_t()\)和一個更新函數\(U_t()\)來定義:
\(\mathbf { h } _ { v } ^ { t } = \mathbf { U } _ { t } \left( \mathbf { h } _ { v } ^ { t - 1 } , \sum _ { w \in N ( v ) } M _ { t } \left( \mathbf { h } _ { v } ^ { t - 1 } , \mathbf { h } _ { w } ^ { t - 1 } , \mathbf { e } _ { v w } \right) \right)\)
通過函數M傳遞來自舊狀態的消息得到新的狀態, 使用U來結合新舊狀態進行更新, 得到當前時間的真正狀態.
這里的讀出階段實際上是一個池化操作, 產生了一個整個圖的表征, 基於每個單獨節點的隱藏表征. 它被定義為:
\(\hat { \mathbf { y } } = R \left( \mathbf { h } _ { v } ^ { T } | v \in G \right)\)
通過函數R的輸出, 最終的表征y被用來處理圖級預測任務. 很多的其他工作都可以看做是使用了U,M的不同形式的結果.
GraphSage
引入了聚合函數的概念來定義圖的卷積, 聚合函數實質上是聚合節點的鄰域信息. 它必須對節點順序的排列具有不變性, 例如求均值、和、極大值函數等.
這樣的圖卷積操作可以被定義為:
\(\mathbf { h } _ { v } ^ { t } = \sigma \left( \mathbf { W } ^ { t } \cdot aggregate _ { k } \left( \mathbf { h } _ { v } ^ { t - 1 } , \left\{ \mathbf { h } _ { u } ^ { k - 1 } , \forall u \in \mathcal { N } ( v ) \right\} \right)\right.\)
GraphSage並沒有在所有節點上更新狀態, 而是提出了一個批學習算法, 這個提升了對於大圖的可擴展性. 其學習過程主要有三步:
- 首先，對節點的局部k跳鄰域進行固定大小的采樣。
- 其次，它通過聚合中心節點的鄰居特征信息來獲得中心節點的最終狀態。
- 最后，它使用中心節點的最終狀態進行預測並反向傳播錯誤。
對於GraphSage而言, 計算損耗隨着跳的階段的增加, 而呈指數增長. 這導致該算法不能有太深的結構, 然而, 實際測試, 跳兩步的GraphSage已經可以是實現很高的性能了.
空域GCN的其他變體
- 擴散卷積神經網絡(DCNN)
- 擴散卷積神經網絡(DCNN)提出了一種圖卷積網絡，它封裝了圖的擴散過程。
- A hidden node representation is obtained by independently convolving inputs with power series of transition probability matrix.
- Though covering a larger receptive field through higher orders of transition matrix, the DCNN model needs \(O(N_m^2H)\) memory, causing severe problems when applying it to large graphs.
- PATCHY-SAN
- uses standard convolution neural network (CNN) to solve graph classification tasks. To do this, it converts graph-structured data into grid-structured data.
- Finally, after the grid-structured data with fixed-size is formed, PATCHY-SAN employed standard CNN to learn the graph hidden representations.
- Utilizing standard CNN in GCNs has the advantage of keeping shift-invariance, which relies on the sorting function.
- As a result, the ranking criteria in the node selection and ordering process is of paramount importance. In PATCHY-SAN, the ranking is based on graph labellings. However, graph labellings only take graph structures into consideration, ignoring node feature information.
- uses standard convolution neural network (CNN) to solve graph classification tasks. To do this, it converts graph-structured data into grid-structured data.
- 大規模圖卷積網絡(LGCN)
- 在后續工作中，LGCN提出了一種基於節點特征信息的排序方法.
- Unlike PATCHY-SAN, LGCN uses standard CNN to generate node-level outputs.
- For each node, LGCN assembles a feature matrix of its neigborhood and sortes this feature matrix along each column. The first k rows of the sorted feature matrix are taken as the input grid-data for the target node.
- 最后，LGCN將一維CNN應用於最終的輸入，得到目標節點的隱藏表示.
- 雖然在Patchy-SAN中導出圖標簽需要復雜的預處理，但在LGCN中對特征值進行排序不需要預處理步驟，從而使其效率更高。.
- 為了適應大規模圖的情況，LGCN提出了一種子圖訓練策略，將采樣的子圖放入一個小批處理中.
- 混合模型網絡(MoNet)
- 將標准CNN與非歐幾里得域上的卷積結構統一起來.
- 在融合鄰域特征信息時，有幾種基於空間的方法忽略了節點與鄰域之間的相對位置，而MoNet引入了偽坐標和權函數，使得節點的鄰域權重由節點與其鄰域之間的相對位置(偽坐標)來確定.
- 在圖上例如GCN, DCNN(擴散卷積神經網絡)都可以被泛化為一個特殊MoNet的例子.
- However these approaches under the framework of MoNet have fixed weight functions. MoNet instead proposes a Gaussian kernel with learnable parameters to freely adjust the weight function.
空域方法小結
空域方法定義圖卷積, 通過集成來自鄰居的特征信息. 更具不同的堆疊圖卷積層的方式, 主要分類兩種, 一種是基於遞歸的要獲得節點的穩態的方法, 一種是基於組合的要去合並更高階的鄰域信息的方法.
在訓練時, 每一層中, 兩種方法都必須更新所有節點的隱藏狀態. 然而, 將所有的中間狀態存儲到內存中並不是一個有效的策略. 為了解決這個問題, 一些訓練策略被提出來, 包括針對組合方法的子圖訓練(GraphSage)和針對遞歸方法的隨機異步訓練(SSE)
圖池化模塊
泛化卷積神經網絡到圖結構數據的另一個關鍵點, 那就是圖池化模塊了. 尤其是對於圖級分類任務.
和原始CNN中的池化模塊類似, 圖池化模塊可以容易的減少方差和通過從原始特征數據中下采樣來減少計算復雜度.
Mean/max/sum池化是實現這一點的最原始和最有效的方法，因為在池化窗口中計算均值/最大/和值是快速的。
\(\mathbf { h } _ { G } = m e a n / \max / \operatorname { sum } \left( \mathbf { h } _ { 1 } ^ { T } , \mathbf { h } _ { 2 } ^ { T } , \ldots , \mathbf { h } _ { n } ^ { T } \right)\)
- Henaff等人證明了在網絡的開始加入一個簡單的max/mean池化, 對於降低圖的維度和減輕昂貴的圖傅里葉變換操作的損耗是尤其重要的.
- 而Defferrard(ChebNet)等人, 進一步優化了max/min池化操作, 設計了一種有效的池化策略.
- 使用設計的粗化操作經過粗化后，將輸入圖及其粗化版本的頂點轉化為一棵平衡的二叉樹.
- 在最粗糙的層次上對節點進行任意排序，然后在平衡二叉樹中將這種排序傳播到較低的層次，最終在最精細的層次上產生一個規則的排序.
- 池化這樣的重排的1D信號比原始的效率要高得多。
- SortPooling操作也被在架構DGCNN中提出, 也是進行了類似的重排操作, 將頂點重排到更有意義的順序. 不同於ChebNet, 這里是根據頂點圖中的結構化的角色來進行的排序.
- 這個方法將來自空間圖卷積的圖的無序頂點特征看做一個連續的WL顏色, 並且用來對頂點排序.
- 除了對頂點特征進行排序外，它還通過截斷/擴展圖的特征張量將圖的大小統一為k. 如果n>k，則刪除最后的n-k行, 否則添加k-n零行.
- 該方法通過求解一個具有挑戰性的底層圖結構任務，即置換不變量，增強了池化網絡以提高GCN的性能.
- DIFFPOOL池化模塊, 可以生成圖的層次表達, 它不僅可以與CNN相結合，而且可以與各種(various)圖型神經網絡進行端到端的結合.
- 與以前的所有粗化方法相比，DIFFPOOL並不簡單地將節點聚集在一個圖中，而是為一組廣泛的輸入圖的分層池節點提供了一個通用的解決方案.
- DIFFPOOL通過使用兩個GNN對節點進行集群來重新定義圖池模塊. 任何標准的GCN模塊都能夠與DIFFPOOL相結合，不僅可以提高性能，而且可以加快卷積運算的速度.
譜方法與空域方法的比較
作為針對圖數據的早期卷積網絡, 譜方法已經在許多圖相關分析任務中取得了不錯的結果. 這些模型出現在已有的在圖信號處理的理論基礎上. 通過設計新的圖信號濾波器, 可以設計新的圖卷積網絡.
作為最早的圖形數據卷積網絡，基於譜的模型在許多與圖形相關的分析任務中取得了令人印象深刻的結果. 這些模型具有很好的吸引力，因為它們具有圖形信號處理的理論基礎. 通過設計新的圖信號濾波器[23]，我們可以從理論上設計新的圖卷積網絡。
然而，基於譜的模型有幾個缺點, 我們從效率、一般性和靈活性三個方面來說明這一點:
- 在效率方面，基於譜的模型的計算代價隨着圖的大小而急劇增加，因為它們要么需要進行特征向量計算，要么需要同時處理整個圖，這使得它們很難並行或擴展到大圖. 基於空間的模型具有處理大圖的潛力，因為它們通過聚集相鄰節點直接在圖域中執行卷積。計算可以在一批節點上進行，而不是在整個圖形中進行. 當相鄰節點數目增加時，可以發展采樣技術以提高效率.
- 在通用性方面，基於譜的模型假設一個固定的圖，這使得它們不能很好地推廣到新的或不同的圖. 另一方面，基於空間的模型在每個節點上局部執行圖形卷積，其中的權重可以方便地在不同的位置和結構之間共享.
- 在靈活性方面，基於譜的模型僅限於處理無向圖. 有向圖上的Laplacian矩陣沒有明確的定義，因此將基於譜的模型應用於有向圖的唯一方法就是將有向圖轉換為無向圖. 基於空間的模型在處理多源輸入(如邊緣特征和邊緣方向)方面更為靈活，因為這些輸入可以合並到聚合函數中.
因此，空間模型近年來受到越來越多的關注.
未來的方向
- 更深
- The success of deep learning lies in deep neural architectures.
- However, when it comes to graphs, experimental studies have shown that with the increase in the number of layers, the model performance drops dramatically.
- According to [Deeper insights into graph convolutional networks for semi-supervised learning], this is due to the effect of graph convolutions in that it essentially pushes representations of adjacent nodes closer to each other so that, in theory, with an infinite times of convolutions, all nodes’ representations will converge to a single point.
- This raises the question of** whether going deep is still a good strategy for learning graph-structured data**.
- 感受野
- 節點的感受域是指包括中心節點及其鄰居在內的一組節點. 節點的鄰居數服從冪律分布. 某些節點可能只有一個鄰居，而其他節點的鄰居可能多達數千個.
- Though sampling strategies have been adopted, how to select a representative receptive field of a node remains to be explored.
- 擴展性
- 多數圖神經網絡不能適應於大圖. 主要原因在於當多層圖卷積堆疊時, 節點的最終狀態涉及到了大量的相鄰接點的隱含狀態, 導致了反向傳播的高復雜性.
- 雖然有幾種方法試圖通過快速采樣和子圖訓練來提高模型的效率, 但是它們的可擴展性仍然不足以處理具有大圖的深度體系結構。
- 動態與異構
- 目前大多數的圖神經網絡都是用靜態的同質圖(homogeneous graph)來處理的. 一方面，圖的結構被假定是固定的; 另一方面，假設圖中的節點和邊來自單個源.
- 然而，這兩個假設在許多情況下是不現實的. 在社交網絡中，新的人可以隨時進入網絡，現有的人也可以退出網絡. 在推薦系統中，產品可能有不同的類型，其輸入可能有不同的形式，如文本或圖像. 因此，需要開發新的方法來處理動態的、異構的圖(dynamic and heterogeneous graph)結構。
一些新詞
- permutation invariant: 置換不變量
- heterogeneous graph: 異構圖
- homogeneous graph: 同構圖