- 大量的學習任務需要處理包含豐富元素間關系信息的圖數據。圖神經網絡(GNNs)是一種連接主義模型，它通過圖節點之間的消息傳遞來捕獲圖的依賴性。
- 與標准的神經網絡不同，圖神經網絡保留了一種狀態，可以表示來自其任意深度的鄰域的信息。雖然原始的gnn很難訓練為定點，但最近在網絡架構、優化技術和並行計算方面的進展已經使它們能夠成功地學習。近年來，多種圖神經網絡的系統得到了廣泛應用：基於圖卷積網絡(GCN)、圖關注網絡(GAT)、門控圖形神經網絡(GGNN)在上述許多任務上都表現出了突破性的性能。
- 為什么圖神經網絡值得研究的基本原因：
- 首先，標准的神經網絡如CNNs和RNNs不能很好地處理圖的輸入，因為它們將節點的特征按特定的順序進行堆疊。然而，圖中沒有節點的自然順序。為了完整地呈現一個圖，我們需要遍歷所有作為模型輸入的可能的順序，如CNNs和RNNs，這在計算時是非常冗余的。為了解決這個問題，GNNs分別在每個節點上傳播，忽略節點的輸入順序。也就是說，對於節點的輸入順序，GNNs的輸出是不變的。
- 其次，圖中的邊表示兩個節點之間的依賴關系信息。在標准的神經網絡中，依賴信息只是作為節點的特征。然而，gnn可以在圖結構的指導下進行傳播，而不是將其作為特性的一部分使用。一般情況下，gnn通過其鄰域狀態的加權和來更新節點的隱藏狀態。
- 第三，推理是高級人工智能非常重要的研究課題，人腦的推理過程幾乎是基於從日常經驗中提取的圖。標准的神經網絡已經顯示出通過學習數據分布來生成合成圖像和文檔的能力，而它們仍然無法從大量的實驗數據中學習推理圖表。然而，gnn探索從場景圖片和故事文檔等非結構性數據生成圖，這可以成為進一步高級人工智能的強大神經模型。
An overview of variants of graph neural networks
按照類別分類：
we divide the existing methods into five categories based on their model architectures and training strategies:
- graph recurrent neural networks (Graph RNNs),
- graph convolutional networks (GCNs),
- graph autoencoders (GAEs),
- graph reinforcement learning (Graph RL),
- and graph adversarial methods
the following high-level distinctions：
- Graph RNNs capture recursive and sequential patterns of graphs by modeling states at either the node-level or the graph-level.
- GCNs define convolution and readout operations on irregular graph structures to capture common local and global structural patterns.
- GAEs assume low-rank graph structures and adopt unsupervised methods for node representation learning.
- Graph RL defines graph-based actions and rewards to obtain feedbacks on graph tasks while following constraints.
- Graph adversarial methods adopt adversarial training techniques to enhance the generalization ability of graph-based models and test their robustness by adversarial attacks.
- 圖RNNs通過在節點級或圖級建模狀態來捕獲圖的遞歸和順序模式。
- GCNs在不規則圖結構上定義卷積和讀出操作，以捕獲常見的局部和全局結構模式。
- GAEs采用低秩圖結構，並采用無監督的方法進行節點表示學習。
- Graph RL定義了基於圖的動作和獎勵，以獲得對圖任務的反饋，同時遵循約束條件。
- 圖對抗性方法采用對抗性訓練技術來提高基於圖的模型的泛化能力，並通過對抗性攻擊來檢驗模型的魯棒性
列出了幾個關鍵的靈感。
首先，在構造圖或選擇架構時，將領域知識合並到模型中是很重要的。例如，基於相對距離構建一個圖可能適合於交通預測問題，但可能不適用於地理位置也很重要的天氣預測問題。
其次，基於圖形的模型通常可以構建在其他架構之上，而不是作為一個獨立的模型。例如，計算機視覺社區通常采用CNNs檢測對象，然后使用基於圖的深度學習作為推理模塊。
對於NLP問題，可以采用GCNs作為句法約束。因此，關鍵的挑戰是如何集成不同的模型。這些應用還表明，基於圖的深度學習不僅能夠挖掘現有圖數據背后的豐富價值，而且有助於將關系數據自然地建模為圖，極大地擴展了基於圖的深度學習模型的適用性。
參考：Deep Learning on Graphs: A Survey