論文地址Deep Learning on Graphs: A Survey
一、圖的不同種類深度學習方法
1、主要分為三大類：半監督學習，包括圖神經網絡和圖卷積神經網絡；
2、無監督學習圖自編碼機；
3、最新的進展，圖對抗神經網絡和圖強化學習。分析了不同方法的特點和聯系。
二、圖神經網絡 (GNN)
圖神經網絡是圖數據最原始的半監督深度學習方法。
GNN的思路很簡單：為了編碼圖的結構信息，每個節點可以由低維狀態向量表示。對於以圖為中心的任務，建議添加一個特殊節點，這個節點具有與整個圖相對應的唯一屬性。
回顧過去，GNN統一了一些處理圖數據的早期方法，如遞歸神經網絡和馬爾可夫鏈。
展望未來，GNN中的概念具有深遠的啟示：許多最先進的GCN實際上遵循與鄰近節點交換信息的框架。事實上，GNN和GCN可以統一到一個通用框架中，GNN相當於GCN使用相同層來達到的穩定狀態。
從概念角度來看，GNN是非常重要的，但它也有幾個缺點：
-
首先，在其計算過程中，公式(具體公式可查看原文)中的映射必須是壓縮映射，這就嚴重限制了建模能力。
-
其次，由於在梯度下降步驟之間需要許多迭代，因此GNN在計算上的代價是昂貴的。
或許是因為這些原因，GNN並未被社區所熟知。
三、圖卷積網絡 (GCN)
除了GNN，圖卷積網絡(GCN)是圖的另一類半監督方法。由於GCN通常可以像標准的CNN那樣通過反向傳播來訓練特定任務的損失，所以本文主要關注其采用的體系結構。
下表總結了本文所研究的GCN的主要特征：
不同圖卷積網絡之間的比較
可以看到在本文所研究的22種GCN方法中，從類型角度看分為兩種，一種是光譜域(Spectral)、另一種是空間域(Spatial)。
三、圖自編碼器 (GAE)
自編碼器(AE)和變分自編碼器(VAE)廣泛應用於無監督學習中，它們適用於學習無監督信息的圖節點表示。
下表總結了本文所研究的GAE主要特征：
不同GAE之間的比較
可以看到，在本文所研究的10種GAE方法中，7種屬於自編碼器(AE)、3種屬於變分自編碼器(VAE)。
每種方法采用的降維方法也有所不同，主要包括L2-Reconstruction、拉普拉斯特征映射(Laplacian Eigenmap)、遞歸Reconstruction、排序、GAN等等。
在可擴展性、節點特征以及其它改進方面也各不相同。
四、最新的進展
]
4.1、圖遞歸神經網絡
遞歸神經網絡(RNN)，例如GRU或LSTM是建模序列數據的一個實際標准，在GNN中用於模擬節點狀態。
RNN也可以用於圖級別。為了消除歧義，我們將這種架構稱為Graph RNNs。
You et al. [94]將Graph RNN應用於圖生成問題。
具體來說，他們采用兩個RNN，一個用於生成新的節點，另一個用於以自回歸的方式為新添加的節點生成邊。結果表明，與傳統的基於規則的圖生成模型相比，這種分層RNN結構在具有可接受的時間復雜度的同時，能夠有效地從輸入圖中學習。
動態圖神經網絡提出利用 time-aware LSTM來學習動態圖中的節點表示。作者表明， time-aware LSTM可以很好地建模邊形成的順序和時間間隔，從而有利於圖的廣泛應用。
也可以將Graph RNN與其他架構(如GCN或GAE)結合使用。例如RMGCNN將LSTM應用於GCN的結果，逐步重構圖，如圖所示，旨在解決圖的稀疏性問題。Dynamic GCN應用LSTM在動態網絡中收集不同時間片段的GCN結果，目的是獲取空間和時間圖信息。
4.2、圖強化學習
GCPN[98]利用RL生成目標導向的分子圖，以處理不可導目標和約束。實驗結果證明了GCPN在各種圖生成問題中的有效性。
MolGAN[99]也采用了類似的思想，即使用RL生成分子圖。MolGAN建議直接生成完整的圖，而不是通過一系列的動作來生成圖，這對小分子很有效。