圖擴散-Diffusion Improves Graph Learning
標簽:圖神經網絡、擴散技術
動機
- 圖卷積的核心就是圖神經網絡,就是在一跳鄰居節點上進行消息傳遞,這些消息在每個節點聚合,形成下一層的嵌入。雖然神經網絡確實利用了更深層的高階鄰域,但將每一層的消息限制在一跳鄰居似乎是隨意的武斷的。實圖中的邊通常是有噪聲的或使用任意閾值定義的
貢獻
- 提出圖擴散卷積 (GDC),這是一種更強大、更通用、更空間局部化的消息傳遞替代方法,它使用稀疏化的圖擴散的廣義形式。GDC不限於GNNs,可以與任何基於圖的模型或算法相結合
- 分析了 GDC 和圖擴散的光譜特性,展示了如何將圖擴散技術表示為等價多項式濾波器,並分析了GDC 對圖譜的影響
思想
符號說明:
\(S\) 為擴散后得到的圖,\(T\) 為轉移矩陣,\(\theta\) 為加權系數, 一個無向圖 \(G=\{V,\varepsilon\}\) ,其中 \(V\) 為頂點集合,\(\varepsilon\) 為邊集,定義 \(N = |V|\) 為點的個數, 鄰接矩陣 \(A \in R^{N×N}\) ,\(D\) 為一個度矩陣,對角線上的值為每個點的度數,\(I_N \in N×N\) 為單位矩陣,\(w_{loop} \in R^+\)
核心
\[S = \sum_{k = 1}^{\infty}{\theta}_k T^k ~~~~~~~~~~~~~~~~~~~~~~~~~~~(1) \]
上式為擴散技術的核心
轉移矩陣
-
\(T\) 在一個無向圖進行隨機游走 (random walk) 的轉移矩陣 (列隨機):
\[T_{rw}= AD^{-1} \] -
對稱矩陣:
\[T_{sym} = D^{-\frac{1}{2}}AD^{-\frac{1}{2}} \\ D_{ii} = \sum_{j = 1}^{N}A_{ij} \] -
還通過向原始鄰接矩陣添加(加權)自環來調整隨機游走:
\[\tilde{T_{sym}} = (w_{loop}I_N + D)^{-\frac{1}{2}}(w_{loop}I_N + A)(w_{loop}I_N + D)^{-\frac{1}{2}} \]
特殊的例子
-
PPR (personalized PageRank):
\[T = T_{rw} ~~~~~~ {\theta_k^{PPR}} = \alpha(1 - \alpha)^k \]傳輸概率 \(\alpha \in (0,1)\)
-
熱核 (heat kernel):
\[T = T_{rw} ~~~~~~ {\theta_k^{HK}} = r^{-t}\frac{t^k}{k!} \]
框架
首先是對原圖進行使用公式 \((1)\) 進行擴散,擴散后得到一個稠密圖,再在兩個稀疏化的方法中選擇一個進行稀疏化后得到最終的圖
實驗
在節點分類上的准確率,是將擴散技術與之相融合