Exploiting Edge Features in Graph Neural Networks

介紹

現如今圖神經網絡取得了很大進展，最典型的兩個模型是GCN模型和GAT模型，然而現有的圖神經模型仍然存在以下兩個問題：

1. 邊特征未被有效考慮。比如GAT只考慮兩個節點之間是否有邊(binary indicator)，GCN的邊特征只能是一個實數(one-dimensional real value)，通常表示權重
2. GAT和GCN在每一層都基於最開始輸入的鄰接矩陣進行節點特征過濾，而原始的鄰接矩陣可能是有噪聲，不是最佳的

因此，這篇文章提出一個新的學習框架來增強GCN和GAT，具體的創新點可以概括為如下：

• 提出了一個能夠利用多為邊特征的框架，克服了上述的GAT和GCN的缺點
• 使用雙重隨機(doubly stocahstic)對邊歸一化，這顯示出更好的去噪性能
• 設計了一種新的基於注意力的圖網絡架構，該架構不僅可以過濾節點特征，還可以跨層適應邊特征
• 提出了一種編碼邊方向信息方式，便於學習有向圖網絡

模型細節

模型架構

給定包含\(N\)個節點的圖，\(X \in \mathbb{R}^{N \times F}\)表示節點特征，\(E \in \mathbb{R}^{N \times N \times P}\)是邊特征，其中\(E_{ij\cdot}=\mathbf{0}\)表示節點\(i,j\)直接沒有邊連接。文章所提出的模型如下圖所示：

雙隨機正則化(Doubly stocahstic normalization)

本中使用邊特征乘以節點特征的方式過濾節點特征，因此為了避免乘積導致輸出特征尺度發生變化，邊特征需要被正則化。正則化的方式如下：

\[\tilde{E}_{ijp} = \frac{\hat{E}_{ijp}}{\sum_{k=1}^N \hat{E}_{ikp}} \\ \]

\[E_{ijp} = \sum_{k=1}^N \frac{\tilde{E}_{ikp} \tilde{E}_{jkp}}{\sum_{v=1}^N \tilde{E}_{vkp}} \]

這樣做完之后，邊特征滿足下面條件，即每行每列之和分別都是1：

\[E_{ijp} \geq 0 \]

\[\sum \limits_{i=1}^N E_{ijp} = \sum \limits_{j=1}^N E_{ijp} = 1 \]

EGNN(A),基於Attention的EGNN層

為了利用多維邊特征，這篇文章提出了如下聚合操作：

\[X^l = \sigma \left[ \mathop{||} \limits_{p=1}^P \left(\alpha_{\cdot \cdot p}^l(X^{l-1}, E^{l-1}_{\cdot \cdot p})g^l (X^{l-1}) \right) \right] \]

其中\(\sigma\)是激活函數，\(\alpha\)是一個產生\(N\times N \times P\)張量的函數，\(\alpha_{\cdot \cdot p}\)表示其第\(p\)個通道切片，\(g\)是節點特征變換函數。

\(\alpha^l\)就是所謂的注意力系數，\(\alpha_{ijp}\)是\(X_{i\cdot}^{l-1}\)，\(X_{j\cdot}^{l-1}\)和\(E_{ijp}\)的函數，其中\(E_{ijp}\)就是邊特征的第\(p\)個通道。對於多維特征，EGNN將之看作多通道信號，每一個通道會產生單獨的Attention操作，不同通道結果直接連接。對於一個特定的通道\(p\)，Attention操作如下：

\[\alpha_{\cdot \cdot p}^l=DS(\tilde{\alpha}_{\cdot \cdot p}^l) \]

\[\tilde{\alpha}_{ijp}^l = f^l(X_{i\cdot}^{l-1},X_{j\cdot}^{l-1})E_{ijp}^{l-1} \]

其中，\(DS\)就是雙隨機正則化，\(f\)可以是任何接受兩個向量作為輸入，輸入一個標量值的Attention函數，例如：

\[f^l(X_i^{l-1},X_j^{l-1}) = \exp \left\{ L (a^T[WX_{i\cdot}^{l-1} || WX_{j\cdot}^{l-1}]) \right\} \]

其中\(L\)是leakyReLU，\(W\)是映射矩陣，\(||\)是連接操作。

因為文章中邊特征適用於過濾節點特征的，所以對於下一層，直接將attention系數作為邊特征：

\[E^l = \alpha^l \]

EGNN(C)，基於卷積的層

\[X^l = \sigma \left[ \mathop{||} \limits_{p=1}^P (E_{\cdot \cdot p}X^{l-1}W^l) \right] \]

有向圖的邊特征

對於有向圖，EGNN將通道\(E_{ijp}\)拓展成三個通道：

\[[E_{ijp}, E_{jip}, E_{ijp} + E_{jip}] \]

分別代表了前向，反向和無向信息。這樣在編碼時，節點就會從三類鄰接點中聚合信息。