機器學習相關——SVD分解

前面寫了個簡單的線性代數系列文章，目的就是讓大家在接觸SVD分解前，先了解回憶一下線性代數的基本知識，有助於大家理解SVD分解。不至於一下被大量的線性代數操作搞暈。這次終於開始正題——SVD的介紹了。

所謂SVD，就是要把矩陣進行如下轉換：A = USV^T

the columns of U are the eigenvectors of the AA^T matrix and the columns of V are the eigenvectors of the A^TA matrix. V^T is the transpose of V and S is a diagonal matrix. By definition the nondiagonal elements of diagonal matrices are zero. The diagonal elements of S are a special kind of values of the original matrix. These are termed the singular values of A.

1 The Frobenius Norm

一個矩陣所有元素的平方和再開方稱為這個矩陣的Frobenius Norm。特殊情況下，行矩陣的Frobenius Norm為該向量的長度

2 計算A轉置 A*At At*A

　　

　　

　　

 

3 計算S

　　在SVD中，將AAt的特征值從大到小排列，並開方，得到的就是奇異值。

　　比如上圖中，特征值為40，10.因此奇異值為6.32,3.16。矩陣的奇異值有如下特性：

　　a 矩陣的奇異值乘積等於矩陣行列式的值 6.32*3.16 = 20 = |A|

　　b 矩陣A的 Frobenius Norm等於奇異值的平方和的開方

　　

　　總結一下計算S的步驟：1 計算A^T 和A^TA；2 計算A^TA的特征值，排序並開方。

　　由此可以得到S，下面來看如何計算 U，V^T

4  計算V和V^T

　　利用A^TA的特征值來計算特征向量

　　

 

　　既然剛才提到V就是特征向量的組合，那么

　　

5 計算U

　　A = USV^T

　　AV = USV^TV = US

　　AVS^-1 = USS^-1

　　U = AVS^-1

　　

　　

6 計算SVD

　　

可以看出，SVD可以對矩陣進行分解重建。

7 降維的SVD

　　如果我們只保留前k個最大的奇異值，前k列個U，前k行個V，相當於將數據中占比不大的噪音進行過濾，這樣既可以有效地對數據進行泛化，又起到了降維減少運算量的目的。是不是很奇妙？

　　

8 實際用途　

　我們實際的工作中，經常會用到這種降維方法。包括現在非常火的推薦問題，以及LSI問題都對SVD有着廣泛的應用。

　舉個最常用的例子，在文本挖掘中：A就是 t (term) 行 d (document) 列的矩陣，每列是一篇文章，每行是一個單詞，每個單元格的當前單詞在當前文章里的出現次數。 U 是一個 t 行 r 列 的矩陣， V 是一個 r 行 d 列 的矩陣， S 是一個 r 行 r 列的對角矩陣。這里 r 的大小是 A的秩。那么U和V中分別是A的奇異向量，而S是A的奇異值。AA'的正交單位特征向量組成U，特征值組成S'S，A'A的正交單位特征向量組成V，特征值（與AA'相同）組成SS'。

希望大家細細體會，多多交流，一起進步。