1.概述
我們先從實數域R開始說起,再延伸到復數域C上去,先列出一個表格,把實數域以及復數域中常見的矩陣及其性質概括如下:
表1 常見矩陣及其性質

我們知道實對稱矩陣正交相似於對角陣,從而將一個方陣對角化,那么一個的矩陣能否對角化為對角陣呢,答案是肯定的,這也是奇異值分解(singular value decomposition,SVD)的意義所在。
設A是一個矩陣,則存在m階正交矩陣U和n階正交矩陣V,滿足
其中.習慣上,設
,稱
為奇異值(singular value),稱U和V的前r列向量為奇異向量(singular vector),這個分解為奇異值分解。
那現在就有疑問了,奇異值怎么求呢,m階正交矩陣U和n階正交矩陣V又怎么求呢,為了回答上述問題,我們將SVD寫成向量形式,從而對SVD有初步的了解。令,
,因為V是正交矩陣,所以有
寫成向量的形式有
即
對1.1式轉置得,
同理可得,
對1.4式兩端左乘AT得,
將1.6式代入1.7式中,
同理可得,
故vi是實對稱矩陣ATA屬於的特征向量,ui是實對稱矩陣AAT屬於
的特征向量。也就是說,奇異值就是實對稱矩陣AAT(或者ATA)非零特征值的模長(即非零特征值開根號),而正交矩陣U(V)就是AAT(ATA)特征值所對應的特征向量。當然並不是隨意地取m個特征向量組成U,隨意地取n個特征向量組成V就可以構成A奇異值分解的正交矩陣的,U和V之間是配對的,有固定的關系,用表達式表示即為
這個式子的推導在后面會介紹,現在繼續探討實對稱矩陣AAT和 ATA特征值的性質,有如下兩個性質:
1)AAT和 ATA的特征值為非負數;
證明: 設 故 |
2)AAT和ATA的非零特征值集合相同;
證明: 假設A的秩為r,因為r(AAT) = r(AT),r(ATA) = r(A),且r(A) = r(AT),故 r(AAT) = r(ATA) = r(A) = r 因為AAT是實對稱矩陣,所以 設 所以 |
因此,AAT和 ATA的特征值為非負數,且AAT和 ATA的非零特征值集合相同,即求A的奇異值時,只需求出AAT和ATA其中一個矩陣的特征值即可。
接下來,推導正交矩陣U和正交矩陣V之間的配對關系,設為是n階對稱方陣ATA的單位正交特征向量,
注意到,故
,即
.令
,則
且有
故是AAT的單位正交特征向量。也就是說,當
是ATA的單位正交特征向量時,
是AAT的單位正交特征向量,且
.
至此,矩陣A的奇異值分解就可以求出來了,首先求出AAT(ATA)的特征值,其中,非零特征值就是矩陣A的奇異值;接着求出AAT(ATA)特征值所對應的特征向量(包括零特征值對應的特征向量)作為正交矩陣U(V);最后根據配對關系求出另一個正交矩陣V(U)非零特征值所對應的特征向量,而正交矩陣V(U)的零特征值對應的特征向量則可以代入特征方程求出(或者其他方法),從而,得到任意矩陣A的奇異值分解。
這是實數域R的情況,復數域C中的奇異值分解大同小異。
設,
是A的r個奇異值,則存在m階酉矩陣U和n階酉矩陣V,滿足
則上面的分解稱為奇異值分解(復數域中)。
求任意一個復矩陣A的奇異值分解跟實矩陣A的奇異值分解步驟是一樣的,就是非零特征值對應的次酉矩陣U1、V1的配對關系變為
其中,,這是在求一個復矩陣A的奇異值分解時應該注意的。
2.例子
求矩陣
的奇異值分解表達式。
解: 步驟一:求出AAH和AHA的非零特征值(A的奇異值)
AAH的特征多項式為 AAH的特征值為 所以A的奇異值為 步驟二:求出AAH和AHA非零特征值對應的次酉矩陣U1和V1 AAH特征值為4的單位特征向量為 AAH特征值為1的單位特征向量為 所以AAH非零特征值對應的次酉矩陣U1為 因此,AHA非零特征值對應的次酉矩陣V1為 所以 |
3.應用
奇異值分解(SVD)的應用有特征降維(feature reduction)、圖像壓縮以及潛在語義分析(latent semantic indexing,LSI)等。就圖像壓縮來說,例如一張的圖像,需要
的矩陣來存儲它。而利用奇異值分解,則只需存儲矩陣的奇異值
,奇異向量
和
,數目為
,而不是
。通常
,所以
,即存儲該圖像所需的存儲量減小了。比值
稱為圖像的壓縮比,其倒數稱為數據壓縮率。如果矩陣的奇異值從一個數開始值遠小於前面的奇異值,則可以刪去,這樣在保證圖像不失真的前提下,進一步減小了存儲量。