投影矩陣、最小二乘法和SVD分解

投影矩陣廣泛地應用在數學相關學科的各種證明中，但是由於其概念比較抽象，所以比較難理解。這篇文章主要從最小二乘法的推導導出投影矩陣，並且應用SVD分解，寫出常用的幾種投影矩陣的形式。

問題的提出

已知有一個這樣的方程組：

\[Ax=b \]

其中，\(A \in R^{m \times n},x,b \in R^n\)

• 當\(m=n\)時，且\(rank(A)=n\)時，這是一個適定方程組，有唯一解\(x=A^{-1}b\)
• 當\(m<n\)時，或者\(rank(A)<n\)時，這是一個欠定方程組，有無窮多個解。對於這種情況，我們使用\(ran(A)\)中與\(b\)距離最近的向量對應的\(x\)作為最小二乘解。而相應的\(ran(A)\)中的這個向量就是\(b\)在空間\(ran(A)\)中的投影。

最小二乘法

幾何解法

如上圖所示，\(b\)不在\(ran(A)\)中，\(Ax_0\)是\(ran(A)\)空間中對\(b\)在歐幾里得范數下的最好估計。此時$$\forall x \in {R^n},\left\langle {Ax,b - A{x_0}} \right\rangle = 0$$
等價於

\[{x^T}{A^T}(b - A{x_0}) = 0 \]

由於x的任意性，所以

\[{A^T}(b - A{x_0}) = 0 \]

整理得

\[{x_0} = {({A^T}A)^{ - 1}}{A^T}b = {A^\dagger }b \]

其中\({A^\dagger } = {({A^T}A)^{ - 1}}{A^T}\)稱為A的偽逆。

數值解法

原問題等價於

\[\min ||Ax - b||_2^2 \]

記$ f(x)=||Ax-b||_2^2=(Ax-b)^T(Ax-b)=x^TA^T A x-2 b^T A x + b^Tb$,對x求導得，

\[\nabla f = 2({A^T}Ax - {A^T}b) = 0 \]

解得，

\[{x} = {({A^T}A)^{ - 1}}{A^T}b = {A^\dagger }b \]

投影矩陣

對最小二乘解兩邊同時乘以A，就是對應的投影向量，即

\[{Ax} = {A({A^T}A)^{ - 1}}{A^T}b=Pb \]

那么\(P={A({A^T}A)^{ - 1}}{A^T}\)就是將\(b\)投影到\(ran(A)\)的投影矩陣。因為

\[P^T={A({A^T}A)^{ - 1}}{A^T}=P,P^2=P \]

滿足投影矩陣的定義。
所以\(ran(A)\)對應的投影矩陣為

\[P={A({A^T}A)^{ - 1}}{A^T} \]

SVD分解下的投影矩陣

秩為r的矩陣A的SVD分解為\(A = U\Sigma {V^T} \in R^{m \times n}\)。其中，

\[U = [{U_r}|{\tilde U_r}],V = [{V_r}|{\tilde V_r}] \]

那么，帶入公式可以得到

\(V_r V_r^T\)是\(ran(A^T)={null(A)}^\bot\)空間的投影矩陣
\(U_r U_r^T\)是\(ran(A)\)空間的投影矩陣

對於\(\forall x \in R^n\),有

\[\left\langle {V_r V_r^T x,\tilde V_r {\tilde V_r}^T x} \right\rangle =x^T V_r V_r^T \tilde V_r {\tilde V_r}^T x=0 \]

所以，\(\tilde V_r {\tilde V_r}^T\)是\(null(A)\)空間的投影矩陣
同理,\(\tilde U_r {\tilde U_r}^T\)是\(null(A^T)={ran(A)}^\bot\)空間的投影矩陣