（一）前言
老生常談，現在很多寫博客的人根本就不管自己抄過來的對不對，有些甚至連轉載出處都不標，錯誤逐漸傳播，圖片通通copy，影響極其惡劣，令人作嘔。正如現在要找一篇數學上證明SVD的文章都很難找到，全都是給你直接講“直觀理解”和所謂的“內涵”，搞來搞去就是復制黏貼那些已經有過的東西，轉載的人可能根本連這些自己發的都還搞不懂，滑天下之大稽！
（二）推導
- 定理：設$X_{n×p},rank(X)=r$，且$\lambda_1 \geq ... \geq \lambda_r$為$X^TX$的非零特征值，記$\Lambda^{\frac{1}{2}}=diag(\lambda_1^{\frac{1}{2}},...,\lambda_r^{\frac{1}{2}})$，則存在正交陣$P_{p×p},Q_{n×n}$使得$X=Q \left[ \begin{matrix} \Lambda^{\frac{1}{2}} & \mathbf{0}\\ \mathbf{0}& \mathbf{0} \end{matrix}\right]P^T$，其中$P$的列向量組為與$X^TX$的$p$個特征值$\lambda_1,...,\lambda_r,0,...,0$對應的特征向量組，$Q$的列向量組為與$XX^T$的$n$個特征值$\lambda_1,...,\lambda_r,0,...,0$對應的特征向量組
- 證明：
由$X^TX$實對稱，故$\exists$正交陣$P_{p×p}$使$P^TX^TXP= diag(\lambda_1,...,\lambda_r,0,...,0)$
令$P=(\alpha_1,...,\alpha_r,\alpha_{r+1},...,\alpha_{p})$，此時$\left \{ \begin{array}{cc} X^TX \alpha_i = \lambda_i\alpha_i & i=1,...,r\\ X^TX\alpha_i=\overrightarrow{0}&i=r+1,...,p \end{array} \right. $
若要找一個$Q=(\beta_1,...,\beta_n)$滿足條件$\Leftrightarrow$找滿足條件的$Q$，使得$Q\left[ \begin{matrix} \Lambda^{\frac{1}{2}} & \mathbf{0}\\ \mathbf{0}& \mathbf{0} \end{matrix}\right]=XP$
將上式展開化簡得$\beta_i=\frac{X\alpha_i}{\sqrt{\lambda_i}}$ $i=1,...,r$，此時就轉化為考察如下三個問題：
① 這些$\beta_i$是否分別對應了$XX^T$的特征值$\lambda_i$
② 它們是否相互兩兩正交
③ 是否能找到其余符合條件的$n-r$個特征向量與$\beta_1,...,\beta_r$一起構成正交陣$Q$
問題①：$XX^T\beta_i = \frac{XX^TX\alpha_i}{\sqrt{\lambda_i}}=\frac{X(\lambda_i\alpha_i)}{\sqrt{\lambda_i}}=\sqrt{\lambda_i}X\alpha_i=\lambda_i\beta_i$ $i=1,...,r$
問題②：$\forall i,j =1,...,r$有$\beta_i^T\beta_j=\frac{\alpha_i^TX^TX\alpha_j}{\sqrt{\lambda_i\lambda_j}}=\frac{\alpha_i^T(\lambda_j\alpha_j)}{\sqrt{\lambda_i\lambda_j}}=\sqrt{\frac{\lambda_j}{\lambda_i}}\alpha_i^T\alpha_j=\left\{ \begin{array}{cc}1&i=j \\0 &i\ne j\end{array} \right.$
問題③：只要取$XX^T$零空間的規范正交基$\beta_{r+1},...,\beta_{n}$就可以滿足條件
綜上，奇異值分解$Singular$ $Value$ $Decomposition$定理成立
參考資料：
- 姚強. 高等代數期末復習卷的一道補充習題, 2018