Graph Neural Networks:譜域圖卷積


以下學習內容參考了:🔗1,🔗2,

0、首先回憶CNN,卷積神經網絡的結構和特點

處理的數據特征:具有規則的空間結構(Euclidean domains),都可以采用一維或者二維的矩陣描述。(Convolutional neural network (CNN) gains great success on Euclidean data, e.g., image, text, audio, and video)。

什么是卷積:卷積即固定數量鄰域結點排序后,與相同數量的卷積核參數相乘求和。

離散卷積本質就是一種加權求和。CNN中的卷積就是一種離散卷積,本質上就是利用一個共享參數的過濾器(kernel),通過計算中心像素點以及相鄰像素點的加權和來構成feature map實現空間特征的提取,當然加權系數就是卷積核的權重系數(W)

The power of CNN lies in: its ability to learn local stationary structures, via localized convolution filter, and compose them to form multi-scale hierarchical patterns.

Taking image data as an example, we can represent an image as a regular grid in the Euclidean space. CNN is able to exploit the shiftinvariance, local connectivity, and compositionality of image data. As a result, CNNs can extract local meaningful features that are shared with the entire data sets for various image analyses.

那么卷積核的系數如何確定的呢?是隨機化初值然后根據誤差函數通過反向傳播梯度下降進行迭代優化。這是一個關鍵點,卷積核的參數通過優化求出才能實現特征提取的作用,GCN的理論很大一部分工作就是為了引入可以優化的卷積參數

1、圖卷積網絡GCN

生活中很多數據不具備規則的空間結構,稱為Non Euclidean data,如,推薦系統、電子交易、分子結構等抽象出來的圖譜。這些圖譜中的每個節點連接不盡相同,有的節點有三個連接,有的節點只有一個連接,是不規則的結構。對於這些不規則的數據對象,普通卷積網絡的效果不盡人意。CNN卷積操作配合pooling等在結構規則的圖像等數據上效果顯著,但是如果作者考慮非歐氏空間比如圖(即graph),就難以選取固定的卷積核來適應整個圖的不規則性,如鄰居節點數量的不確定和節點順序的不確定。

總結一下,圖數據中的空間特征具有以下特點:

1) 節點特征:每個節點有自己的特征;(體現在點上)
2) 結構特征
:圖數據中的每個節點具有結構特征,即節點與節點存在一定的聯系。(體現在邊上)
總地來說,圖數據既要考慮節點信息,也要考慮結構信息,圖卷積神經網絡就可以自動化地既學習節點特征,又能學習節點與節點之間的關聯信息

綜上所述,GCN是要為除CV、NLP之外的任務提供一種處理、研究的模型。
圖卷積的核心思想是利用『邊的信息』對『節點信息』進行『聚合』從而生成新的『節點表示』。

借助於卷積神經網絡對局部結構的建模能力圖上普遍存在的節點依賴關系圖卷積神經網絡成為其中最活躍最重要的一支。

3、圖卷積網絡的兩種理解方式

GCN的本質目的就是用來提取拓撲圖的空間特征。 而圖卷積神經網絡主要有兩類,一類是基於空間域或頂點域vertex domain(spatial domain)的,另一類則是基於頻域或譜域spectral domain的。通俗點解釋,空域可以類比到直接在圖片的像素點上進行卷積,而頻域可以類比到對圖片進行傅里葉變換后,再進行卷積。

1)vertex domain(spatial domain):頂點域(空間域)

  基於空域卷積的方法直接將卷積操作定義在每個結點的連接關系上,它跟傳統的卷積神經網絡中的卷積更相似一些。在這個類別中比較有代表性的方法有 Message Passing Neural Networks(MPNN)[1], GraphSage[2], Diffusion Convolution Neural Networks(DCNN)[3], PATCHY-SAN[4]等

2)spectral domain:頻域方法(譜方法)

  這就是譜域圖卷積網絡的理論基礎了。這種思路就是希望借助圖譜的理論來實現拓撲圖上的卷積操作。從整個研究的時間進程來看:首先研究GSP(graph signal processing)的學者定義了graph上的Fourier Transformation,進而定義了graph上的convolution,最后與深度學習結合提出了Graph Convolutional Network。
  基於頻域卷積的方法則從圖信號處理起家,包括 Spectral CNN[5], Cheybyshev Spectral CNN(ChebNet)[6], 和 First order of ChebNet(1stChebNet)[7] 等
  論文Semi-Supervised Classification with Graph Convolutional Networks就是一階鄰居的ChebNet

定義圖的鄰接矩陣A以及度矩陣D:

定義圖的Graph Laplancian 矩陣(刻畫了信號在圖上的平滑程度)

拉普拉斯矩陣是圖上的一種拉普拉斯算子:


 

圖的傅里葉變換

圖的傅里葉逆變換

將兩信號分別視為輸入信號和卷積核,那么卷積操作可以定義為 ➢1)將空域信號轉換到頻域,然后相乘。 ➢2)將相乘的結果再轉換到空域。

 

Shortcomings of Spectral graph CNN 譜域圖卷積的三個缺點

 

 

進入實用化階段:ChebyNet,GCN,

 

 

 

GCN:

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM