图卷积:从谱域卷积到切比雪夫网络再到gcn

参考链接：

知乎文章：一文带你理解图卷积网络本质和发展脉络
知乎文章：谱域GCN小结

b站视频:图卷积神经网络（GCN）的数学原理详解,谱图理论和傅立叶变换初探

图卷积网络 GCN

预备知识：

实对称矩阵可以正交相似对角化。即：若\(A = A^T,\)则\(A = P\Lambda P^{-1}, P^T = P^{-1}\)

定义：

定义图\(\mathcal{G}=(\mathcal{V}, \mathcal{E}, A)\)图中有n个节点

邻接矩阵\(A \in R^{n \times n}\), 如果节点\(v_i\)与\(v_j\)之间存在边, 则\(A_{ij} = 1\), 否则\(A_{ij} = 0\)

度矩阵\(D \in R^{n \times n}\), 它是一个对角矩阵, \(D_{i i}=\Sigma_{j} A_{i j}\)

拉普拉斯矩阵 \(L = D - A\)。

在一种简单的情况下谈论, 假设图中每个节点有一个标量信息, 所有节点的信息表示为\(x \in R^{n \times 1}\).

1. \(Lx\)做了什么事情?

令:\(G_{ij} = \begin{bmatrix} \ddots & & & \\ & 1 & \cdots & -1 \\ & & \ddots & \\ & -1& \cdots & 1 & & \\ & & & & \ddots \end{bmatrix}\), 则\(G_{ij}x = \begin{bmatrix} \vdots \\ x_i-x_j \\ \vdots \\ x_j - x_i \\ \vdots \end{bmatrix}\), \(G_{ij}x\)将\(v_i\),\(v_j\)两个节点间的信息做了一个交互.

而拉普拉斯矩阵\(L = \sum_{{i,j}\in \mathcal{E}}G_{ij}\),

所以\(Lx = \sum_{\{i,j\}\in \mathcal{E}}G_{ij}x = \begin{bmatrix} \sum_{\{1,j\}\in \mathcal{E}}(x_1-x_j) \\ \sum_{\{2,j\}\in \mathcal{E}}(x_2-x_j) \\ \vdots \\ \sum_{\{n,j\}\in \mathcal{E}}(x_n-x_j) \end{bmatrix}\), 含义就是对所有的节点做了一阶邻居信息的聚合.

\(L^2x\)则是对所有节点做了二阶邻居信息的聚合; \(L^kx\)是对k阶邻居信息的聚合.

2. 从谱域进行卷积操作

类比时序信号,要对时序的频域进行一些操作, 需要将信号转换到频域进行操作,之后再转换回时序(例如去除声音中频率高的女声).

图信号也有类似的傅里叶变换. 由于\(L\)为实对称矩阵,\(L= P\Lambda P^{T}\). 其中\(P\)为正交矩阵. 则\(Lx = P\Lambda P^{T}x\) 分解为以下三个步骤:

\[\\ 傅里叶变换: P^{T}x \\ 卷积操作: \Lambda (P^{T}x) \\ 傅里叶逆变换: P(\Lambda P^{T}x) \]

在谱域的卷积中,关键的操作是\(\Lambda\), 在第一代谱域图网络Spectral CNN (SCNN)中, 将特征值处理后的结果\(g(\Lambda) =\left\{\begin{array}{lll} \Theta_{1} & & \\ & \ddots & \\ & & \Theta_{n} \end{array}\right\}\)视为可学习的卷积. 这里的卷积是\(x^, = Pg(\Lambda) P^T x\). 由于没有限定\(g(\Lambda)\)为多项式,所以特征分解操作不可避免(时间复杂度为\(O(n^3)\)),而且它是全局的，并不是局部的，所以并没有利用上数据中经常存在的局部不变性的特点。

注意这里学习的参数的数量是节点的数量\(n\)

3. 通过限定卷积操作为多项式,降低运算量

k阶信息聚合操作: \(L^kx = P\Lambda^k P^{T}x\)

为了增加学习能力, 参数化卷积核, 定义一个卷积操作\(g_\theta * x = P g_\theta(\Lambda) P^{T}x\)

由于要聚合k阶信息, \(g_\theta(\Lambda)\)是一个k阶多项式(特征分解的时间复杂度为\(O(n^3)\),限制为多项式可以避免特征分解). 即\(g_\theta(\Lambda) = \theta_0 + \theta_1 \Lambda^1 + \theta_2 \Lambda^2 + \cdots+ \theta_k \Lambda^k = \sum_{i=0}^{k}\theta_i \Lambda^i\)

\(g_\theta * x = P g_\theta(\Lambda) P^{T}x = P\sum_{i=0}^{k}\theta_i \Lambda^i P^T x = \sum_{i=0}^{k}\theta_i (P\Lambda P^T)^i x = \sum_{i=0}^{k}\theta_i L^i x\)

使用\(k\)阶多项式的好处是:

1. 学习的参数数量是阶数\(k\), \(k << n\)

2. k代表着k阶邻居. 这样的卷积操作具有局部性,而不是全局性.(类似CNN中的局部不变性)

4. 使用切比雪夫多项式替代原始的多项式(ChebNet)

使用切比雪夫多项式(迭代式的计算)替代原始的多项式, 降低计算的复杂度.

切比雪夫多项式的定义:

\[\left\{\begin{array}{l} T_{0}(x)=1 \\ T_{1}(x)=x \\ T_{n+1}(x)=2 x T_{n}(x)-T_{n-1}(x) \end{array}\right. \]

要求\(x \in [-1, 1]\). 其实是余弦二倍角公式.

使用切比雪夫多项式的图卷积操作:

\[\left\{\begin{array}{l} \left.y=\sigma\left(\sum_{k=0}^{K} \theta_{k} T_{k}(\hat{L}) x\right)\right) \\ \hat{L}=\frac{2}{\lambda \max } L-I_{N} \end{array}\right. \]

这里注意为了获得特征值在\([-1,1]\)之间的拉普拉斯矩阵，有两种方法：
方法1.\(\hat{L}=\frac{2}{\lambda \max } L-I_{N}\)
方法2.$\hat{L}=L_{sym}-I_{N} = -D^{-\frac{1}{2}} A D^{-\frac{1}{2}} $,

5. 从ChebNet继续化简到GCN

令ChebNet中的\(k=1\),

\[\begin{gathered} \sigma\left(\theta_{0} x+\theta_{1}\left(L-I_{N}\right) x\right. \\ =\sigma\left(\theta_{0} x+\theta_{1}\left(D^{-1 / 2}(D-A) D^{-1 / 2}-I_{N}\right) x\right) \\ =\sigma\left(\theta_{0} x+\theta_{1}\left(I_{N}-D^{1 / 2} A D^{-1 / 2}-I_{N}\right) x\right) \\ =\sigma\left(\theta_{0} x+\theta_{1}\left(-D^{1 / 2} A D^{-1 / 2}\right) x\right) \\ \end{gathered} \]

进一步简化, 令\(\theta_0 = -\theta_1\)(\(L_{sym}\)的计算方法见本文末尾)

\[\sigma\left(\theta_{0} x+\theta_{1}\left(-D^{1 / 2} A D^{-1 / 2}\right) x\right)=\sigma\left(\theta\left(I_{N}+D^{-1 / 2} A D^{-1 / 2}\right) x\right) \\ \]

renormorlize, 将I 加到A里

\[\sigma\left(\theta\left(I_{N}+D^{-1 / 2} A D^{-1 / 2}\right) x\right)=\sigma\left(\theta D^{-1 / 2} \hat{A} D^{-1 / 2} x\right) \]

去掉\(\theta\), \(x\)右乘一个线性映射, 得到GCN的公式

\[H^{(l+1)}=\hat{D}^{-1 / 2} \hat{A} \hat{D}^{-1 / 2} x^{l} W^{l} \]

由公式可知,每层GCN只能聚合一阶邻居的信息.

附注一些公式:

其中$\hat{A} = A + I $

\(L = D - A\)

对称归一化的拉普拉斯矩阵

\[L_{sym} = D^{-\frac{1}{2}} L D^{-\frac{1}{2}} \\ = D^{-\frac{1}{2}} (D- A) D^{-\frac{1}{2}}\\ = I - D^{-\frac{1}{2}} A D^{-\frac{1}{2}} \]