已知: 已知 \(A \in R^{m\times n}, m \ge n\)
問題: \(Ax = 0\) 的解
求解: 解為A的右奇異矩陣V的最后一列, 即 \(A^TA\) 最小特征值對應的特征向量
基礎知識
實對稱矩陣
實對稱矩陣: \(A = A^T, A \in R^{n\times n}\)
性質:
- 實對稱矩陣A的不同特征值對應的特征向量是正交的。
- 實對稱矩陣A的特征值都是實數，特征向量都是實向量。
- n階實對稱矩陣A必可相似對角化，且相似對角陣上的元素即為矩陣本身特征值。
由以上可知, \(A^TA\) 為實對稱矩陣
正交矩陣
\(\square\) 正交矩陣Q是一個方陣，其元素為實數，而且行與列皆為正交的單位向量，使得該矩陣的轉置矩陣為其逆矩陣：
\[{\displaystyle Q^{T}=Q^{-1}\Leftrightarrow Q^{T}Q=QQ^{T}=I.\,\!} \]
奇異值分解
A = \(U \Sigma V^T, \Sigma 為對角矩陣, U,V 分別為正交矩陣\)
式中 \(\Sigma = \begin{bmatrix} \Sigma_1 & O \\ O & O \end{bmatrix}\), 且 \(\Sigma_1=diag(\sigma1,\sigma2, ..., \sigma_r)\), 其對角線按照順序
\[\sigma1\ge \sigma2 \ge\sigma_r>0, \quad r = \bf Rank(A)\]
排列.
數值 \(\sigma1,\sigma2, ..., \sigma_r\) 連同 \(\sigma_{r+1} =\sigma_{r+1}=\cdots=\sigma_n=0\) 一起稱為矩陣A的奇異值
\[A[v_1,\cdots,v_r,\cdots,v_n] = [u_1, \cdots,u_r,\cdots,u_m]\begin{bmatrix}\sigma_1\\&\ddots\\&&\sigma_r\\&&&0 \\ &&&&\ddots \\&&&&&0\end{bmatrix} \\ AV = U \Sigma \Rightarrow A = U\Sigma V^{-1} = U\Sigma V^T \\ A^TA = ( U\Sigma V^T)^T U\Sigma V^T = V\Sigma ^2V^T \\ AA^T = U\Sigma V^T( U\Sigma V^T)^T = U\Sigma ^2U^T \\ \]
解答
V 為正交矩陣, \(AV = U \Sigma\), 列向量形式為
\[Av_i=\begin{cases} \sigma_iu_i, \quad &i=1,2,3,\cdots,r \\ 0, \quad \quad &i=r+1,r+2,\cdots,n \end{cases} \]
從上奇異值分解列向量形式可以看出, 取最小特征值對應的特征向量即為Ax=0的近似解
\(Ax = 0 \cong A^TAx = A^T0 = 0\)
solution 2
\(T = |Ax|_2, 約束|x|_2 = 1\)
\[T= |Ax|_2 = (Ax)^T(Ax = x^TA^TAx =x^T(A^TAx)= x^T(\sigma_i^2 x)) = \sigma_i^2 x^Tx =\sigma_i^2|x|_2 = \sigma_i^2 \]
其中 \(\sigma_i\) 為 \(A\) 的奇異值, \(x\) 為A的右奇異矩陣最小的奇異值對應的特征向量.