作者：桂。
時間：2017-04-13 07:43:03
鏈接：http://www.cnblogs.com/xingshansi/p/6702188.html
聲明：歡迎被轉載，不過記得注明出處哦~
前言
前面分析了非負矩陣分解（NMF）的應用，總覺得NMF與譜聚類（Spectral clustering）的思想很相似，打算分析對比一下。譜聚類更像是基於圖（Graph）的思想，其中涉及到一個重要概念就是拉普拉斯矩陣（Laplace matrix），想着先梳理一下這個矩陣：
1）拉普拉斯矩陣基本定義
2）拉普拉斯矩陣意義及性質
3）瑞利熵（Rayleigh quotient）
內容為自己的學習記錄，很多地方都借鑒了別人，最后一並給出鏈接。
一、拉普拉斯矩陣基本定義
對於圖G，一般用點的集合V和邊的集合E來描述：G（V,E）。現在有這樣一個圖，如何定義拉普拉斯矩陣呢？這里涉及到兩個常用矩陣：鄰接矩陣、度矩陣。
從最簡單的應用入手，不同數據點相通權重為1，不相通權重為0.
首先求解鄰接矩陣W：
將每一列求和，這個數值的對角形式對應就是度矩陣D：
$d_i = \sum\limits_{j=1}^{n}w_{ij}$
寫成矩陣形式：
$\mathbf{D} = \left( \begin{array}{ccc} d_1 & \ldots & \ldots \\ \ldots & d_2 & \ldots \\ \vdots & \vdots & \ddots \\ \ldots & \ldots & d_n \end{array} \right)$
從而得到拉普拉斯矩陣L的定義：
$L= D-W$
二、拉普拉斯矩陣意義及性質
不失一般性，$v_i$與$v_j$的權重不再是1而是$w_{ij}$，$f(v_i)$表示節點$v_i$的函數，對應實際應用它可以是一個概率值、一個像素值等等。
對任意向量$f$，
這樣一來，拉普拉斯矩陣的意義就比較明顯了，它是一種基於歐式距離的測度，如果$w_{ij} = 1$，上式對應就是多有數據點的距離之和，同時也可以看出：D對應二次項，W對應不同一次項相乘。拉普拉斯矩陣是半正定的，且對應的n個實數特征值都大於等於0，即：$0 =\lambda_1 \leq \lambda_2 \leq... \leq \lambda_n$。
三、瑞利熵
提到拉普拉斯矩陣，就不能不提瑞利熵。
A-普通瑞利熵
給出定義：
因為對h幅值進行條件，不會影響R的取值，同時也不會改變h向量的方向，對於一般優化問題（以max為例，其他類似）：
可以轉化為拉格朗日乘子問題：
c為常數，即：
可以看出：
- R的最大值就是L最大特征值，R的最小值就是L最小特征值
- h的解，就是L對應的特征向量
是不是很熟悉啊？
- 簡單回顧一下主成分分析（PCA）算法：
設p為矩陣A的單位投影矩陣，最大化投影結果：
PCA就是瑞利熵理論的一個應用。
后面分析譜聚類（Spectral clustering），其中RatioCut算法也是瑞利熵的一個應用。
B-泛化瑞利熵
為什么叫泛化呢？對於
可以看到分子是一般形式，而分母是${{h^*}Dh}$在D取單位陣時的特殊情況，將其一般化：
同理可以得到：
適當變形：
這個時候表達式就是：
又回到了普通瑞利熵問題，求解就方便了。
- 簡單回顧一下Fisher線性判別分析（Linear discriminant analysis, LDA）算法：
Fisher判別准則函數：
分子分母分別是類內、類間距離。這個准則函數就是泛化瑞利熵的形式。
LDA是泛化瑞利熵的一個應用。
后面分析譜聚類（Spectral clustering），其中NCut算法也是泛化瑞利熵的一個應用。
參考：