PCA主成分分析的矩陣原理

【前言】主成分分析（PCA）實現一般有兩種，一種是對於方陣用特征值分解去實現的，一種是對於不是方陣的用奇異值（SVD）分解去實現的。

一、特征值

　　特征值很好理解，特征值和特征向量代表了一個矩陣最鮮明的特征方向。多個特征值和特征向量的線性組合可以表示此矩陣。選取特征值最大的特征值對應的特征向量，此特征向量在組成矩陣的線性組合中所占的比重是最大的。一般選取前一半就可，實現降維。 

二、奇異值

　　這里主要談談如何用SVD去解PCA的問題。PCA的問題其實是一個基的變換，使得變換后的數據有着最大的方差。方差的大小描述的是一個變量的信息量。我們在講一個東西的穩定性的時候，往往說要減小方差，如果一個模型的方差很大，那就說明模型不穩定了。但是對於我們用於機器學習的數據（主要是訓練數據），方差大才有意義，不然輸入的數據都是同一個點，那方差就為0了，這樣輸入的多個數據就等同於一個數據了。以下面這張圖為例子：

 

 

    這個假設是一個攝像機采集一個物體運動得到的圖片，上面的點表示物體運動的位置，假如我們想要用一條直線去擬合這些點，那我們會選擇什么方向的線呢？當然是圖上標有signal的那條線。如果我們把這些點單純的投影到x軸或者y軸上，最后在x軸與y軸上得到的方差是相似的（因為這些點的趨勢是在45度左右的方向，所以投影到x軸或者y軸上都是類似的），如果我們使用原來的xy坐標系去看這些點，容易看不出來這些點真正的方向是什么。但是如果我們進行坐標系的變化，橫軸變成了signal的方向，縱軸變成了noise的方向，則就很容易發現什么方向的方差大，什么方向的方差小了。
    一般來說，方差大的方向是信號的方向，方差小的方向是噪聲的方向，我們在數據挖掘中或者數字信號處理中，往往要提高信號與噪聲的比例，也就是信噪比。對上圖來說，如果我們只保留signal方向的數據，也可以對原數據進行不錯的近似了。
　　PCA的全部工作簡單點說，就是對原始的空間中順序地找一組相互正交的坐標軸，第一個軸是使得方差最大的，第二個軸是在與第一個軸正交的平面中使得方差最大的，第三個軸是在與第1、2個軸正交的平面中方差最大的，這樣假設在N維空間中，我們可以找到N個這樣的坐標軸，我們取前r個去近似這個空間，這樣就從一個N維的空間壓縮到r維的空間了，但是我們選擇的r個坐標軸能夠使得空間的壓縮使得數據的損失最小。
 　 1、還是假設我們矩陣每一行表示一個樣本，每一列表示一個feature，用矩陣的語言來表示，將一個m * n的矩陣A的進行坐標軸的變化，P就是一個變換的矩陣從一個N維的空間變換到另一個N維的空間，在空間中就會進行一些類似於旋轉、拉伸的變化。

　　2、而將一個m * n的矩陣A變換成一個m * r的矩陣，這樣就會使得本來有n個feature的，變成了有r個feature了（r < n)，這r個其實就是對n個feature的一種提煉，我們就把這個稱為feature的壓縮。用數學語言表示就是：

　　3、但是這個怎么和SVD扯上關系呢？之前談到，SVD得出的奇異向量也是從奇異值由大到小排列的，按PCA的觀點來看，就是方差最大的坐標軸就是第一個奇異向量，方差次大的坐標軸就是第二個奇異向量…我們回憶一下之前得到的SVD式子：

　　4、在矩陣的兩邊同時乘上一個矩陣V，由於V是一個正交的矩陣，所以V轉置乘以V得到單位陣I，所以可以化成后面的式子：

　　5、將后面的式子與A * P那個m * n的矩陣變換為m * r的矩陣的式子對照看看，在這里，其實V就是P，也就是一個變化的向量。這里是將一個m * n 的矩陣壓縮到一個m * r的矩陣，也就是對列進行壓縮，如果我們想對行進行壓縮（在PCA的觀點下，對行進行壓縮可以理解為，將一些相似的sample合並在一起或 者將一些沒有太大價值的sample去掉）怎么辦呢？同樣我們寫出一個通用的行壓縮例子：

　　

　　6、這樣就從一個m行的矩陣壓縮到一個r行的矩陣了，對SVD來說也是一樣的，我們對SVD分解的式子兩邊乘以U的轉置U'：

    7、這樣我們就得到了對行進行壓縮的式子。可以看出，其實PCA幾乎可以說是對SVD的一個包裝，如果我們實現了SVD，那也就實現了PCA了。

三、總結

　　而且更好的地方是，有了SVD，我們就可以得到兩個方向的PCA，如果我們對A’A進行特征值的分解，只能得到一個方向的PCA。