原文地址：https://www.jianshu.com/p/1004dd342fe2
一、正交矩陣
二、EVD
特征值分解(Eigen Value Decomposition, EVD)。
對於對稱陣\(A_{m*m}\)，設特征值為\(\lambda_i\)，對應的單位特征向量為\(x_i\)，則有
若\(A\)非滿秩，會導致維度退化，使得向量落入\(m\)維空間的子空間中。
最后，\(U\)變換是\(U^T\)變換的逆變換。
三、SVD
奇異值分解(Singular Value Decomposition, SVD)。
對任意一個\(m*n\)的矩陣\(A\)，能否找到一組正交基使得其經過\(A\)變換后得到的還是一組正交基呢？
答案是能，這也正是SVD的設計精髓所在。
現假設存在\(A_{m*n}\)，\(rank(A)=k\)。
因此，
\(A=U \Sigma V^T\)，
\(AA^T=(U \Sigma V^T)(U \Sigma V^T)^T=U \Sigma V^T V \Sigma^T U^T=U \Sigma^2 U^T\)，
\(A^T A=(U \Sigma V^T)^T(U \Sigma V^T)= V \Sigma^T U^T U \Sigma V^T=V \Sigma^2 V^T\)。