SVD總結


1.概述

  我們先從實數域R開始說起,再延伸到復數域C上去,先列出一個表格,把實數域以及復數域中常見的矩陣及其性質概括如下:

表1 常見矩陣及其性質

  我們知道實對稱矩陣正交相似於對角陣,從而將一個方陣對角化,那么一個的矩陣能否對角化為對角陣呢,答案是肯定的,這也是奇異值分解(singular value decomposition,SVD)的意義所在。

  設A是一個矩陣,則存在m階正交矩陣U和n階正交矩陣V,滿足

          

  其中.習慣上,設,稱為奇異值(singular value),稱U和V的前r列向量為奇異向量(singular vector),這個分解為奇異值分解

  那現在就有疑問了,奇異值怎么求呢,m階正交矩陣U和n階正交矩陣V又怎么求呢,為了回答上述問題,我們將SVD寫成向量形式,從而對SVD有初步的了解。令,因為V是正交矩陣,所以有

          

  寫成向量的形式有

          

          

對1.1式轉置得,

          

同理可得,

        

對1.4式兩端左乘AT得,

       

將1.6式代入1.7式中,

          

同理可得,

          

  故vi是實對稱矩陣ATA屬於的特征向量,ui是實對稱矩陣AAT屬於的特征向量。也就是說,奇異值就是實對稱矩陣AAT(或者ATA)非零特征值的模長(即非零特征值開根號),而正交矩陣U(V)就是AAT(ATA)特征值所對應的特征向量。當然並不是隨意地取m個特征向量組成U,隨意地取n個特征向量組成V就可以構成A奇異值分解的正交矩陣的,U和V之間是配對的,有固定的關系,用表達式表示即為

          

這個式子的推導在后面會介紹,現在繼續探討實對稱矩陣AAT和 ATA特征值的性質,有如下兩個性質:

1)AAT和 ATA的特征值為非負數;

證明:

,則,即

.同理可得AAT的特征值也全為非負數。

 2)AAT和ATA的非零特征值集合相同;

證明:

假設A的秩為r,因為r(AAT) = r(AT),r(ATA) = r(A),且r(A) = r(AT),故

r(AAT) = r(ATA) = r(A) = r

因為AAT是實對稱矩陣,所以,其中是AAT的特征值,所以有#{AAT非零特征值} = r,同理有,#{ATA非零特征值} = r.

是ATA的非零特征值,即,使得,則有

所以也是AAT的非零特征值,反之亦然。故AAT和ATA具有相同的非零特征值。

 

  因此,AAT和 ATA的特征值為非負數,且AAT和 ATA的非零特征值集合相同,即求A的奇異值時,只需求出AAT和ATA其中一個矩陣的特征值即可。

  接下來,推導正交矩陣U和正交矩陣V之間的配對關系,設為是n階對稱方陣ATA的單位正交特征向量,

          

注意到,故,即.令,則

        

且有

          

是AAT的單位正交特征向量。也就是說,當是ATA的單位正交特征向量時,是AAT的單位正交特征向量,且.

  至此,矩陣A的奇異值分解就可以求出來了,首先求出AAT(ATA)的特征值,其中,非零特征值就是矩陣A的奇異值;接着求出AAT(ATA)特征值所對應的特征向量(包括零特征值對應的特征向量)作為正交矩陣U(V);最后根據配對關系求出另一個正交矩陣V(U)非零特征值所對應的特征向量,而正交矩陣V(U)的零特征值對應的特征向量則可以代入特征方程求出(或者其他方法),從而,得到任意矩陣A的奇異值分解。

  這是實數域R的情況,復數域C中的奇異值分解大同小異。

  設是A的r個奇異值,則存在m階酉矩陣U和n階酉矩陣V,滿足

          

則上面的分解稱為奇異值分解(復數域中)。

    求任意一個復矩陣A的奇異值分解跟實矩陣A的奇異值分解步驟是一樣的,就是非零特征值對應的次酉矩陣U1、V1的配對關系變為

          

其中,,這是在求一個復矩陣A的奇異值分解時應該注意的。

2.例子

求矩陣

的奇異值分解表達式。

解:

步驟一:求出AAH和AHA的非零特征值(A的奇異值)

AAH的特征多項式為

AAH的特征值為,0

所以A的奇異值為.

步驟二:求出AAH和AHA非零特征值對應的次酉矩陣U1和V1

AAH特征值為4的單位特征向量為

AAH特征值為1的單位特征向量為

所以AAH非零特征值對應的次酉矩陣U1

因此,AHA非零特征值對應的次酉矩陣V1

所以

3.應用

  奇異值分解(SVD)的應用有特征降維(feature reduction)、圖像壓縮以及潛在語義分析(latent semantic indexing,LSI)等。就圖像壓縮來說,例如一張的圖像,需要的矩陣來存儲它。而利用奇異值分解,則只需存儲矩陣的奇異值,奇異向量,數目為,而不是。通常,所以,即存儲該圖像所需的存儲量減小了。比值稱為圖像的壓縮比,其倒數稱為數據壓縮率。如果矩陣的奇異值從一個數開始值遠小於前面的奇異值,則可以刪去,這樣在保證圖像不失真的前提下,進一步減小了存儲量。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM