譜聚類(Spectral Clustering)詳解
譜聚類(Spectral Clustering, SC)是一種基於圖論的聚類方法——將帶權無向圖划分為兩個或兩個以上的最優子圖，使子圖內部盡量相似，而子圖間距離盡量距離較遠，以達到常見的聚類的目的。其中的最優是指最優目標函數不同，可以是割邊最小分割——如圖1的Smallest cut(如后文的Min cut)， 也可以是分割規模差不多且割邊最小的分割——如圖1的Best cut(如后文的Normalized cut)。
圖1 譜聚類無向圖划分——Smallest cut和Best cut
這樣，譜聚類能夠識別任意形狀的樣本空間且收斂於全局最優解，其基本思想是利用樣本數據的相似矩陣(拉普拉斯矩陣)進行特征分解后得到的特征向量進行聚類。
1 理論基礎
對於如下空間向量item-user matrix：
如果要將item做聚類，常常想到k-means聚類方法，復雜度為o(tknm)，t為迭代次數，k為類的個數、n為item個數、m為空間向量特征數：
1 如果M足夠大呢？
2 K的選取？
3 類的假設是凸球形的？
4 如果item是不同的實體呢？
5 Kmeans無可避免的局部最優收斂？
……
這些都使常見的聚類問題變得相當復雜。
1.1 圖的表示
如果我們計算出item與item之間的相似度，便可以得到一個只有item的相似矩陣，進一步，將item看成了Graph(G)中Vertex(V)，歌曲之間的相似度看成G中的Edge(E)，這樣便得到我們常見的圖的概念。
對於圖的表示(如圖2)，常用的有：
鄰接矩陣：E，eij表示vi和vi的邊的權值，E為對稱矩陣，對角線上元素為0，如圖2-2。
Laplacian矩陣：L = D – E， 其中di (行或列元素的和)，如圖2-3。
圖2 圖的表示
1.2 特征值與L矩陣
先考慮一種最優化圖像分割方法，以二分為例，將圖cut為S和T兩部分，等價於如下損失函數cut(S, T)，如公式1所示，即最小(砍掉的邊的加權和)。
假設二分成兩類，S和T，用q(如公式2所示)表示分類情況，且q滿足公式3的關系，用於類標識。
那么：
其中D為對角矩陣，行或列元素的和，L為拉普拉斯矩陣。
由：
有:
1、 L為對稱半正定矩陣，保證所有特征值都大於等於0；
2、 L矩陣有唯一的0特征值，其對應的特征向量為1。
離散求解q很困難，如果將問題松弛化為連續實數值，由瑞利熵的性質知其二將你型的最小值就是L的特征值們(最小值，第二小值，......，最大值分別對應矩陣L的最小特征值，第二小特征值，......，最大特征值，且極值q相應的特征向量處取得，請參見瑞利熵(Rayleigh quotient))。
寫到此，不得不對數學家們致敬，將cut(S,T)，巧妙地轉換成拉普拉斯矩陣特征值(向量)的問題，將離散的聚類問題，松弛為連續的特征向量，最小的系列特征向量對應着圖最優的系列划分方法。剩下的僅是將松弛化的問題再離散化，即將特征向量再划分開，便可以得到相應的類別，如將圖3中的最小特征向量，按正負划分，便得類{A,B,C}和類{D,E,F,G}。在K分類時，常將前K個特征向量，采用kmeans分類。
PS：
1、此處雖再次提到kmeans，但意義已經遠非引入概念時的討論的kmeans了，此處的kmeans，更多的是與ensemble learning相關，在此不述；
2、k與聚類個數並非要求相同，可從第4節的相關物理意義中意會；
3、在前k個特征向量中，第一列值完全相同(迭代算法計算特征向量時，值極其相近)，kmeans時可以刪除，同時也可以通過這一列來簡易判斷求解特征值(向量)方法是否正確，常常問題在於鄰接矩陣不對稱。
圖3 圖的L矩陣的特征值與特征向量
2 最優化方法
在kmeans等其它聚類方法中，很難刻划類的大小關系，局部最優解也是無法回避的漏病。當然這與kmeans的廣泛使用相斥——原理簡單。
2.1 Min cut方法
如2.2節的計算方法，最優目標函數如下的圖cut方法：
計算方法，可直接由計算L的最小特征值(特征向量)，求解。
2.2 Nomarlized cut方法
Normarlized cut，目標是同時考慮最小化cut邊和划分平衡，以免像圖1中的cut出一個單獨的H。衡量子圖大小的標准是：子圖各個端點的Degree之和。
2.3 Ratio Cut 方法
Ratio cut的目標是同時考慮最小化cut邊和划分平衡，以免像圖1中的cut出一個單獨的H。
最優目標函數為：
2.4 Normalized相似變換
歸一化的L矩陣有：
因而L’的最小特征值與D-(1/2)E D-(1/2)的最大特征值對應。
而計算的L’相比計算L要稍具優勢，在具體實用中，常以L’替代L，但是min cut和ratio cut不可以。
PS：這也是常常在人們的博客中，A說譜聚類為求最大K特征值(向量)，B說譜聚類為求最小K個特征值(向量的原因)。
3 譜聚類步驟
第一步：數據准備，生成圖的鄰接矩陣；
第二步：歸一化普拉斯矩陣；
第三步：生成最小的k個特征值和對應的特征向量；
第四步：將特征向量kmeans聚類(少量的特征向量)；
4 譜聚類的物理意義
譜聚類中的矩陣：
可見不管是L、L’都與E聯系特別大。如果將E看成一個高維向量空間，也能在一定程度上反映item之間的關系。將E直接kmeans聚類，得到的結果也能反映V的聚類特性，而譜聚類的引入L和L’是使得G的分割具有物理意義。
而且，如果E的item(即n)足夠大，將難計算出它的kmeans，我們完全可以用PCA降維(仍為top的特征值與向量)。
上述對將E當成向量空間矩陣，直觀地看符合我們的認知，但缺乏理論基礎；而L(L’等)的引入，如第2節所述，使得計算具有理論基礎，其前k個特征向量，也等價於對L(L’等)的降維。
因而聚類就是為圖的划分找了理論基礎，能達到降維的目的。
感謝志勇；
其中不少圖出源於Mining of Massive Datasets，對於同仁們的布道授業，一並感謝。
------
遞歸關系求解
問題
假設：一個反應器中有兩類粒子α和β，設每秒鍾一個α粒子分裂成3個β粒子，而每秒鍾一個β粒子分裂成一個α粒子和兩個β粒子。假如在t=0時：反應器中有一個α粒子，求t秒時反應器中α粒子和β粒子的數目。
根據關系列出遞歸關系
a(t) = b(t-1) b(t) = 3*a(t-1) + 2*b(t-1)
參考程序
#include <stdio.h> #include <stdlib.h> #define A_size 5 int aa(int size) //aa(t)表示t時刻α的個數 { if (size == 0) return 1; else return bb(size-1); } int bb(int size) //bb(t)表示t時刻β的個數 { if (size == 0) return 0; else return 3 * aa(size-1) + 2 * bb(size-1); } int main() { printf("%d\n", aa(A_size) + bb(A_size)); return 0; }
結果：243
a(t) = b(t-1) b(t) = 3*a(t-1) + 2b(t-1) 得： a(t-1)=b(t-2) b(t) = 3*a(t-1) +2*b(t-1) =3* b(t-2) + 2* b(t-1) (t>=2) 根據已知條件知：a(0)=1 a(1)=0 b（0）=0 b(1)=3
得到遞歸關系：b(t) = 2*b(t-1) + 3*b(t-2)，這是一個常系數齊次線性方程。為了求解看下解常系數齊次線性方程的一般方法。
解常系數齊次線性方程的一般方法
首先區分
特征方程與特征值
求解通解的步驟
1.根據遞歸關系得出特征方程，求解方程得到特征根；
2.表示出通解的一般形式（分為是否有重根）；
3.代入初始值得到系數，從而得到通解。
就本題演示一般步驟
1.把遞歸關系b(n)=2*b(t-1) + 3*b(t-2),表示為特征方程：x2=2x+3,得到特征值-1和3;
2.沒有重根，通解表示為b(t) = c1*(-1)n + c2*(3)n;
3.帶入初始值，得到c1=-3/4 c2 = 3/4,
從而得到通解：b(t) = -3/4 *(-1)n + 1/4 *(3)n+1
a(t) = -3/4 *(-1)n-1 + 1/4 *(3)n (t>=2)