論文信息
論文標題：Contrastive Multi-View Representation Learning on Graphs
論文作者：Kaveh Hassani 、Amir Hosein Khasahmadi
論文來源：2020, ICML
論文地址：download
論文代碼：download
1 Introduction
節點 local-global 對比學習。
2 Method
框架如下：
框架由以下組件組成:
-
- 僅有圖結構數據增強，並無節點級數據增強；
- 兩個專用 GNN Encoder $g_{\theta}(.)$，$g_{\omega}(.)$ ；
- 圖池化層（Graph pooling layer）：即 Readout 函數；
- 判別器（Discriminator）；
2.1 Augmentations
Graph Diffusion
圖擴散如下：
$\mathbf{S}=\sum\limits _{k=0}^{\infty} \Theta_{k} \mathbf{T}^{k} \in \mathbb{R}^{n \times n}\quad \quad\quad(1)$
其中：
-
- $\mathbf{T} \in \mathbb{R}^{n \times n} $ 是生成的轉移矩陣，即 $\mathbf{T}=\mathbf{A} \mathbf{D}^{-1}$；
- $ \Theta$ 是權重系數，決定了全局和局部信息的比重；
- $\sum\limits _{k=0}^{\infty} \theta_{k}=1, \theta_{k} \in[0,1] $
- $\lambda_{i} \in[0,1] $ 是矩陣 $\mathbf{T} $ 的特征值，保證收斂性。
圖擴散常用形式：Personalized PageRank (PPR) 和 heat kernel，定義為：
heat kernel：$\theta_{k}=e^{-t} t^{k} / k !$
PPR：$\theta_{k}=\alpha(1-\alpha)^{k}$
其中：$\alpha$ 表示隨機游走的傳送概率， $t$ 是擴散時間。
heat kernel 和 PPR 的擴散矩陣如下：
$\mathbf{S}^{\text {heat }}=\exp \left(t \mathbf{A} \mathbf{D}^{-1}-t\right) \quad\quad\quad\quad(2)$
$\mathbf{S}^{\mathrm{PPR}}=\alpha\left(\mathbf{I}_{n}-(1-\alpha) \mathbf{D}^{-1 / 2} \mathbf{A} \mathbf{D}^{-1 / 2}\right)^{-1}\quad\quad\quad\quad(3)$
Sub-sampling
從一個視圖選擇節點及其之間的邊，並從另一個視圖中選擇一樣的的節點及其之間的邊。
2.2 Encoders
本文采用 GCN Encoder，分別是 $g_{\theta}(.), g_{\omega}(.): \mathbb{R}^{n \times d_{x}} \times \mathbb{R}^{n \times n} \longmapsto\mathbb{R}^{n \times d_{h}}$。
本文將 Sub-sampling 采樣的子圖 和 圖擴散子圖看成結構一致的視圖，用 GCN Encoder 提取初始節點表示：
$\sigma(\tilde{\mathbf{A}} \mathbf{X} \Theta)$
$\sigma(\mathbf{S} \mathbf{X} \Theta)$
其中
-
- $\tilde{\mathbf{A}}=\hat{\mathbf{D}}^{-1 / 2} \hat{\mathbf{A}} \hat{\mathbf{D}}^{-1 / 2} \in \mathbb{R}^{n \times n}$；
- $\mathbf{S} \in \mathbb{R}^{n \times n}$ 是擴散矩陣；
- $\mathbf{X} \in \mathbb{R}^{n \times d_{x}}$ 是特征矩陣；
- $\Theta \in \mathbb{R}^{d_{x} \times d_{h}}$ 是網絡參數矩陣；
- $\sigma$ 是非線性映射 ReLU (PReLU) ；
學習到的表示被喂入到共享的 MLP 映射頭（2層+使用 PReLU 激活函數）：，最后生成各自對應的節點表示
然后使用共享參數的 MLP $f_{\psi}(.): \mathbb{R}^{n \times d_{h}} \longmapsto \mathbb{R}^{n \times d_{h}}$ 得到最終節點表示$\mathbf{H}^{\alpha}, \mathbf{H}^{\beta} \in \mathbb{R}^{n \times d_{h}}$ 。
為得 圖級表示，Readout （$\mathcal{P}(.): \mathbb{R}^{n \times d_{h}} \longmapsto \mathbb{R}^{d_{h}}$）函數拼接每個 GCN 層的節點表示，然后將其送入全職共享的包含 $2$ 層隱藏層的 MLP，使獲得的圖表示與節點表示的維數大小一致:
$\vec{h}_{g}=\sigma\left(\|_{l=1}^{L}\left[\sum\limits _{i=1}^{n} \vec{h}_{i}^{(l)}\right] \mathbf{W}\right) \in \mathbb{R}^{d_{h}}\quad\quad\quad\quad(4)$
其中：
-
- $\vec{h}_{i}^{(l)}$ 節點 $\text{i}$ 第 $\text{l}$ 層的潛在表示；
- $\|$ 是拼接操作；
- $\text{L}$ 代表 $\mathrm{GCN}$ 的層數；
- $\mathbf{W} \in \mathbb{R}^{\left(L \times d_{h}\right) \times d_{h}}$ 是網絡權值矩陣；
- $\sigma$ 是 PReLU 非線性映射；
推斷時，將圖表示 $\vec{h}_{g}^{\alpha}, \vec{h}_{g}^{\beta} \in \mathbb{R}^{d_{h}}$，進行加和處理：
$\vec{h}=\vec{h}_{g}^{\alpha}+\vec{h}_{g}^{\beta} \in \mathbb{R}^{n} $
節點表示也進行加和處理：
$\mathbf{H}=\mathbf{H}^{\alpha}+\mathbf{H}^{\beta} \in \mathbb{R}^{n \times d_{h}} $
上述處理后的節點表示和圖表示均可直接用於下游任務。
2.3 Training
local-global MI 交叉對比：
$\underset{\theta, \omega, \phi, \psi}{\text{max}}\frac{1}{|\mathcal{G}|} \sum\limits _{g \in \mathcal{G}}\left[\frac{1}{|g|} \sum\limits _{i=1}^{|g|}\left[\mathbf{M I}\left(\vec{h}_{i}^{\alpha}, \vec{h}_{g}^{\beta}\right)+\operatorname{MI}\left(\vec{h}_{i}^{\beta}, \vec{h}_{g}^{\alpha}\right)\right]\right]\quad\quad\quad\quad(5)$
其中：
-
- $\theta$，$\omega$，$\phi$，$\psi$ 是圖編碼器和映射頭的參數；
- $|\mathcal{G}|$ 是圖的數目；
- $|g| $ 是節點的數目；
- $\vec{h}_{i}^{\alpha}, \vec{h}_{g}^{\beta}$ 是節點 $ i$ 和圖 $g$ 在 $\alpha$, $\beta $ 視角下的表示。
互信息作為為判別器
$\mathcal{D}(., .): \mathbb{R}^{d_{h}} \times \mathbb{R}^{d_{h}} \longmapsto \mathbb{R}$ ，即: $\mathcal{D}\left(\vec{h}_{n}, \vec{h}_{g}\right)=\vec{h}_{n} \cdot \vec{h}_{g}^{T} $
算法如下：
3 Experiments
數據集
節點分類
節點聚類
圖分類
互信息估計器對比
論文考慮了五種對比模式：
-
- local-global：對比一個視角的節點編碼與另一個視角的圖編碼；
- global-global：對比不同視角的圖編碼；
- multi-scale：對比來自一個視圖的圖編碼與來自另一個視圖的中間編碼；使用 DiffPool 層計算中間編碼；
- hybrid：使用 local-global 和 global-global 模式；
- ensemble modes：對所有視圖，從相同視圖對比節點和圖編碼。
修改歷史
2022-03-27 創建文章
2022-06-10 精讀