圖擴散-Diffusion Improves Graph Learning


圖擴散-Diffusion Improves Graph Learning

標簽:圖神經網絡、擴散技術

動機

  • 圖卷積的核心就是圖神經網絡,就是在一跳鄰居節點上進行消息傳遞,這些消息在每個節點聚合,形成下一層的嵌入。雖然神經網絡確實利用了更深層的高階鄰域,但將每一層的消息限制在一跳鄰居似乎是隨意的武斷的。實圖中的邊通常是有噪聲的或使用任意閾值定義的

貢獻

  • 提出圖擴散卷積 (GDC),這是一種更強大、更通用、更空間局部化的消息傳遞替代方法,它使用稀疏化的圖擴散的廣義形式。GDC不限於GNNs,可以與任何基於圖的模型或算法相結合
  • 分析了 GDC 和圖擴散的光譜特性,展示了如何將圖擴散技術表示為等價多項式濾波器,並分析了GDC 對圖譜的影響

思想

符號說明:

\(S\) 為擴散后得到的圖,\(T\) 為轉移矩陣,\(\theta\) 為加權系數, 一個無向圖 \(G=\{V,\varepsilon\}\) ,其中 \(V\) 為頂點集合,\(\varepsilon\) 為邊集,定義 \(N = |V|\) 為點的個數, 鄰接矩陣 \(A \in R^{N×N}\)\(D\) 為一個度矩陣,對角線上的值為每個點的度數,\(I_N \in N×N\) 為單位矩陣,\(w_{loop} \in R^+\)

核心

\[S = \sum_{k = 1}^{\infty}{\theta}_k T^k ~~~~~~~~~~~~~~~~~~~~~~~~~~~(1) \]

上式為擴散技術的核心

轉移矩陣
  • \(T\) 在一個無向圖進行隨機游走 (random walk) 的轉移矩陣 (列隨機):

    \[T_{rw}= AD^{-1} \]

  • 對稱矩陣:

    \[T_{sym} = D^{-\frac{1}{2}}AD^{-\frac{1}{2}} \\ D_{ii} = \sum_{j = 1}^{N}A_{ij} \]

  • 還通過向原始鄰接矩陣添加(加權)自環來調整隨機游走:

    \[\tilde{T_{sym}} = (w_{loop}I_N + D)^{-\frac{1}{2}}(w_{loop}I_N + A)(w_{loop}I_N + D)^{-\frac{1}{2}} \]

特殊的例子
  • PPR (personalized PageRank):

    \[T = T_{rw} ~~~~~~ {\theta_k^{PPR}} = \alpha(1 - \alpha)^k \]

    傳輸概率 \(\alpha \in (0,1)\)

  • 熱核 (heat kernel):

    \[T = T_{rw} ~~~~~~ {\theta_k^{HK}} = r^{-t}\frac{t^k}{k!} \]

框架

首先是對原圖進行使用公式 \((1)\) 進行擴散,擴散后得到一個稠密圖,再在兩個稀疏化的方法中選擇一個進行稀疏化后得到最終的圖

實驗

在節點分類上的准確率,是將擴散技術與之相融合


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM