超圖的線展開(Hypergraph Learning with Line Expansion)
0. 摘要(Abstract)
已有的超圖轉化為簡單圖的方法包括連通分量擴展法、星形擴展法，這些超圖展開方法僅在超點或超邊的級別上進行，因此缺少了共現數據的對稱性，導致了高維數據的信息丟失。為了解決這一問題，本文平等地對待超點和超邊，並提出了一種新的超圖展開方式，成為線展開(Line Expansion,LE)。我們可以用LE將超圖轉化為簡單圖，從而使得諸如GCN，GAT等現有的圖學習算法與高維數據相兼容。對於簡單圖，我們證明了LE上定義的學習算法與它們在原始圖上的性能緊密相關，這意味着LE不會導致信息丟失。
1. 介紹(Introduction)
本文提出的超圖線展開(LE)是一種拓撲映射，將超圖轉化為同質圖，同時保留超圖本身的高維數據關系。在經過LE變換后，我們可以對超圖使用任何已有的圖學習算法。
LE算法相對於已有的超圖展開算法具有以下幾條優勢：
- 已有的超圖展開算法，往往是將超邊展開成簡單邊集或超圖割，或者整個超圖學習完全依賴於邊的連接性，而這么做必然會損失超圖的部分信息。LE算法則一致對待超點和超邊，因而能夠保留超圖的原本屬性。
- LE算法無需對超圖結構作出嚴格的約束，也不需要另外額外制定復雜的學習算法。
2. 預備知識(Preliminaries)
2.1 超圖(Hypergraphs)
2.2 超圖節點分類(Problem Setup:Node Classification)
在本篇論文中，我們關注於超圖上的直推學習問題(transductive problems)，如超圖節點分類。該問題的目標是對所有的unlablled data 進行節點分類(\(f: V \to \{1,2,...,C\}\))。
Transductive learning:unlabelled data is the testing data
inductive learning:unlabelled data is not the testing data
在訓練過程中，已知testing data（unlabelled data）是transductive learing
在訓練過程中，並不知道testing data ，訓練好模型后去解決未知的testing data 是inductive learing
下面這一公式表示了超圖節點分類的損失函數：
3. 超圖的線展開(Hypergraph Line Expansion)
許多知名的圖學習算法都基於簡單圖這一數據結構而非超圖。因此，在實際應用中，應該首先將超圖轉化為簡單圖，然后再應用圖學習算法來解決下游任務。
3.1 傳統超圖展開算法(Traditional Hypergraph Expansions)
傳統超圖展開算法中，兩個最經典的超圖展開算法分別是超邊展開(clique expansion)、星展開(star expansion)。這兩個超圖展開算法都有對應的弊端。
我們以co-authorship為例：假設超點表示作者，每一條超邊表示一篇論文。使用clique expansion展開超圖后，我們無法知道哪幾個作者合作發表了一篇論文。而使用星展開后，原本的超圖則轉化為了異質結構，而大多數圖學習算法是基於同質圖設計的。因此，我們可以說這兩種傳統超圖展開算法在許多應用場合並不足夠優越。
3.2 我們提出的超圖的線展開算法(Hypergraph Line Expansion)
LE算法的思想："vertices are connected to multiple edges and edges are conversely connected to multiple vertices"，因此LE算法將超點和超邊同等對待。
LE算法將超圖\(G_H\)按照如下方式轉化成簡單圖\(G_l\)：
- 每一個<超點，超邊>組合，產生一個新的節點，稱為“線點”(如圖2所示，每一個節點都對應一個不同的<超點，超邊>組合)。
- 在這些節點中，如果節點\(S_i=<v_a,e_b>,S_j=<v_c,e_d>\)，如果\(v_a = v_c\) 或 \(e_b = e_d\)，則在\(S_i\)和\(S_j\)中連接一條邊。
這一規則用數學語言描述如下：
對於生成的簡單圖，LE算法將節點之間的鄰域定義如下：
two line nodes are neighbors when they contain the same vertex (vertex similarity) or the same hyperedge (edge similarity).
3.3 實體投影(Entity Projection)
在這一節中，我們定義超圖實體(例如，超點和超邊)的投影矩陣，用於將超圖\(G_H=(V,E)\)投影至簡單圖\(G_l=(V_l,E_l)\)。在簡單圖\(G_l\)中，每一個線點\((v,e)\)都可以被看作一個具備超邊上下文的超點，或具有超點上下文的超邊。概括而言，LE算法能夠較好地聯系高維數據。
-
超點投影矩陣(vertex projection matrix)
\[P_v \in \{0,1\}^{|V_l|\times |V|}\\ P_v(v_l,v)= \left\{ \begin{align} &1 \ \ \ v_l = (v,e), \exists e \in E \\ &0 \ \ \ otherwise \end{align} \right. \]這里有一個性質：\(P_v\)矩陣每一行有且僅有一個1，其余全為0。
這是因為，對於一個線點\(v_l = (v,e)\)，其對應的超點有且僅有一個。
-
超邊投影矩陣(hyperedges projection matrix)
\[P_e \in \{0,1\}^{|V_l|\times |E|}\\ P_v(v_l,e)= \left\{ \begin{align} &1 \ \ \ v_l = (v,e), \exists v \in V \\ &0 \ \ \ otherwise \end{align} \right. \]
3.3.1 定理1 超圖\(G_H\)經過LE算法到簡單圖\(G_l\)的投影為雙射
這一定理的證明篇幅很大，從略。但是，我們可以根據這一定理定義出\(G_l\)到\(G_H\)的逆變換，用於還原超點的高維數據信息。
我們在這里定義超點反投影矩陣(vertex back-projection matrix)\(P_v' \in \R^{|V|\times|V_l|}\)
類似的，我們可以定義超邊反投影矩陣(hyperedges back-projection matrix)\(P_e'\in \R^{|E| \times|V_l|}\)來還原超邊的高維數據信息。
3.3.2 超圖經過線展開所得到的簡單圖\(G_l\)與其星展開的線圖\(L(G_s)\)相同
線圖(line graph)定義見：https://en.wikipedia.org/wiki/Line_graph
4. 超圖表示學習(Hypergraph Representation Learning)
我們上述提到的LE算法，僅僅介紹了如何在結構上將超圖轉化為簡單圖。在定義了從\(G_H\)到\(G_l\)的雙射之后，我們可以輕松地將超圖學習問題轉化為圖學習問題。然而，目前為止我們只能處理無邊權的超圖。
4.1 用LE算法進行超圖學習(Hypergraphs Learning with Line Expansion)
LE算法進行超圖學習的工作流程可以概括為如下三步：
-
將每一個超點投影成若干個圖節點（利用超點投影矩陣）
LE算法已經給出了超點投影矩陣的定義，即每一個不同的\(<v,e>\)對會產生一個新的線點，並在每一個超點相同或超邊相同的線點之間連接一條簡單邊。此外，我們還要考慮生成的簡單圖\(G_l\)的點權和邊權的問題。
論文中介紹了如下規則來分配圖節點的features：
假設有線點\(v_l = <v_H,e>\)，那么線點\(v_l\)的features即為超點\(v_H\)的features
論文中介紹了如下規則來分配超邊的邊權：
首先，需要引入兩個參數：超點相似度\(w_v\)、超邊相似度\(w_e\)。一般可以設置為\(w_v = w_e = 1\)。
然后定義了簡單圖\(G_l\)上的帶權鄰接矩陣\(A_l\)（見下方），\(A_l\)的每一個非0項都對應某一個邊的邊權（0項表示這條邊不存在）。
-
在投影得到的簡單圖上應用圖學習算法（如GCNs）
-
將簡單圖逆投影為超圖（利用超點逆投影矩陣）
