奇異值分解，是在A不為方陣時的對特征值分解的一種拓展。奇異值和特征值的重要意義相似，都是為了提取出矩陣的主要特征。
對於齊次線性方程 A*X =0;當A的秩大於列數時，就需要求解最小二乘解，在||X||=1的約束下，其最小二乘解為矩陣A'A最小特征值所對應的特征向量。
假設x為A'A的特征向量的情況下，為什么是最小的特征值對應的x能夠是目標函數最小?具體證明如下：
齊次線性方程組的最小二乘問題可以寫成如下：min ||Ax||
s.t: ||x||=1
目標函數：||Ax|| = x'A'Ax = x'λx=λ||x||=λ,其中λ是A'A的特征值。
於是可知，得到了A'A的最小特征值，就得到了最優值，而其最小特征值對應的特征向量就是最優解.
而對M進行SVD分解(*表示共軛轉置)：
-
- 可見M*M的特征向量就是V的列向量。