奇異值分解

奇異值分解(singular value decomposition, SVD)是一種矩陣因子分解方法，是線性代數的概念，但在統計學習中被廣泛使用，成為其重要工具。

定義 (奇異值分解)矩陣的奇異值分解是指， 將一個非零的mxn實矩陣A, A∈Rmxn,表示為以下三個實矩陣乘積形式的運算，即進行矩陣的因子分解:

                    A= UΣV^T

其中U是m階正交矩陣(orthogonal matrix)，V是n階正交矩陣，Σ是由降序排列的非負的對角線元素組成的mxn矩形對角矩陣(rectangulardiagonalmatrix),滿足

UU^T= I

VV^T= I

 Σ= diag(σ1, σ2 ,··· , σp)

σ1≥σ2≥···≥σp ≥0   p = min(m,n)

 

UΣV^T稱為矩陣A的奇異值分解( singular value decomposition, SVD), σi稱為矩陣A的奇異值( singular value)，U的列向量稱為左奇異向量( left singular vector), V的列向量稱為右奇異向量( right singular vector )。

 

幾何解釋
從線性變換的角度理解奇異值分解，mxn矩陣A表示從n維空間Rⁿ到m維空間R^m的一個線性變換，

                       T:x→Ax

x∈Rⁿ，Ax∈R^m, x和Ax分別是各自空間的向量。線性變換可以分解為三個簡單的變換，一個坐標系的旋轉或反射變換、一個坐標軸的縮放變換、另一個坐標系的旋轉或反射變換。奇異值定理保證這種分解一定存在。這就是奇異值分解的幾何解釋。

對矩陣A進行奇異值分解，得到A=UΣV^T, V和∪都是正交矩陣，所以V的列向量v₁,v₂,…,v_n構成Rⁿ空間的一組標准正交基，表示Rⁿ中的正交坐標系的旋轉或反射變換; U的列向量u₁,u₂,...,u_m構成R^m空間的一組標准正交基，表示R^m中的正交坐標系的旋轉或反射變換; Σ的對角元素σ_1,σ_2,…σ_n是一組非負實數，表示Rⁿ中的原始正交坐標系坐標軸的σ₁, σ₂,.. σ_n倍的縮放變換。

 

奇異值分解的計算

奇異值分解基本定理證明的過程蘊含了奇異值分解的計算方法。矩陣A的奇異值分解可以通過求對稱矩陣A^TA的特征值和特征向量得到。A^TA的特征向量構成正交矩陣V的列,A^TA的特征值的平方根為奇異值σ_i。

對其由大到小排列作為對角線元素，構成對角矩陣Σ，求正奇異值對應的左奇異向量，再求擴充的A^T的標准正交基，構成正交矩陣U的列。從而得到A的奇異值分解   A= UΣV^T。

給定mxn矩陣A,可以按照上面的敘述寫出矩陣奇異值分解的計算過程。

(1)首先求A^TA的特征值和特征向量。

計算對稱矩陣W = A^TA。

求解特征方程

(W-入I)x= 0

得到特征值入_i,並將特征值由大到小排列

 

λ₁≥入₂≥...≥入_n≥0

將特征值入_i (i=1,2,... ,n)代入特征方程求得對應的特征向量。

(2)求n階正交矩陣V

將特征向量單位化，得到單位特征向量v₁,v₂,... v_n,構成n階正交矩陣V:

 

V=[v₁  v₂  …  v_n ]

 

(3)求mx n對角矩Σ

計算A的奇異值

 

σ_i=_i， i= 1,2,... ,n

構造mxn矩形對角矩陣Σ,主對角線元素是奇異值，其余元素是零，

Σ = diag(σ₁,σ₂,…,σ_n)

(4)求m階正交矩陣U

對A的前r個正奇異值，令

 

U_j = Av_j  , j= 1,2,... ,r

得到   U₁=[u₁  u_{2 …}u_r]

求A^T的零空間的一組標准正交基{u_r+1,u_r+2,… ,u_m}，令

U₂=[ u_r+1,u_r+2,… ,u_m]

並令

U=[U₁  U₂ ]

(5)得到奇異值分解

A= UΣV^T

                               

 

小結：奇異值分解在圖像壓縮與機器學習中主成分的提取中有較多的應用，它將一個比較復雜的矩陣用更簡單的幾個子矩陣的相乘來表示，這些小矩陣描述的是矩陣的重要的特性，奇異值可以被看作成一個矩陣的代表值，能夠代表這個矩陣的信息。當奇異值越大時，它代表的信息越多。奇異值在奇異值矩陣中是按照從大到小排列，可以用最大的k個的奇異值和對應的左右奇異向量來近似描述矩陣。