正交投影矩陣（orthogonal projection matrix）

矩陣的列空間

對於矩陣\({A}\in C^{m\times n}\)，其\(n\)個列向量記作：

\[a_1=[a_{11},a_{21},\cdots, a_{m1}]^T, \, \, a_2=[a_{12},a_{22},\cdots, a_{m2}]^T, \, \, \cdots, \, \, a_n=[a_{1n},a_{2n},\cdots, a_{mn}]^T \, \, \in C^{m\times 1} \]

則其列向量的所有線性組合的集合構成一個子空間，稱為矩陣\(A\)的列空間，用符號\({\rm col}(A)\)表示，i.e.,

\[{\rm col}(A) = {\rm Span}\{a_1,a_2,\cdots, a_n \} = \{ y\in C^m | y = \sum_{i=1}^n{\beta_ja_j}, \beta_j \in C^1 \} \]

\({\rm col}(A)\)的投影矩陣

假設\(b\in C^{M\times 1}\)是一任意的\(m\)維列向量，且並不是列空間\({\rm col}(A)\)中的元素，那么可將其分解為：

\[b = b_\parallel + b_\perp \]

其中，\(b_\parallel\)是\(b\)屬於\({\rm col}(A)\)中的分量，i.e.，\({\rm Range}(A)\)，\(b_\perp\)則是正交分量。回憶\(A = [a_1,a_2,\cdots, a_n]\in C^{m\times n}\)，那么對於值域內的分量，一定有：

\[b_\parallel = \kappa_1 a_1 + \kappa_2 a_2 + \cdots + \kappa_n a_n = A \begin{bmatrix} \kappa_1 \\ \vdots \\ \kappa_n \end{bmatrix} = A\kappa, \]

其中，\(\kappa = [\kappa_1,\cdots,\kappa_n]^T \in C^{n\times 1}\)是滿足線性方程組\(A\kappa = b_\parallel\)的任意解。對於正交分量，則有：

\[A^Tb_\perp = A^T(b - A\kappa) = 0 \]

上式的含義是\(A\)中的所有列向量與\(b_\perp\)的內積都為零，即正交的定義。由\(A^Tb = A^TA\kappa\)，我們解得：

\[\kappa = (A^TA)^{-1}A^Tb \]

令\(P_A\in C^{m\times m}\)表示\({\rm col}(A)\)的投影矩陣，我們希望：\(b_\parallel = P_Ab\,\)並且\(\, b_\perp = b - P_Ab\)。這樣，如果我們將上式左乘\(A\)，即得到\(b_\parallel\)。聯立方程組，解得：

\[b_\parallel = P_Ab = A(A^TA)^{-1}A^Tb \\ \therefore P_A = A(A^TA)^{-1}A^T \]

\({\rm col}(A)\)的正交投影矩陣

同上節，令\(P^\perp_A\)為\({\rm col}(A)\)的正交投影矩陣，那么我們希望滿足：\(P^\perp_A b =b_\perp\)，聯立方程，得到：

\[P^\perp_A b = b_\perp = b - b_\parallel = I_m b - A(A^TA)^{-1}A^T b = (I_m - A(A^TA)^{-1}A^T) b \\ \therefore P^\perp_A = (I_m - A(A^TA)^{-1}A^T) \]

其中，\(I_m \in C^{m\times m}\)是單位陣。

小結

保護矩陣與正交保護矩陣的形式是十分相像的，它們表示“過濾”出當前信號所在的子空間或正交子空間，常見於最小二乘估計中。

參考文獻

• 張賢達，矩陣論及其工程應用。
• https://math.stackexchange.com/questions/2178569/show-that-p-aata-1at-is-a-projection-matrix
• StackOverflow..