正交投影矩阵（orthogonal projection matrix）

矩阵的列空间

对于矩阵\({A}\in C^{m\times n}\)，其\(n\)个列向量记作：

\[a_1=[a_{11},a_{21},\cdots, a_{m1}]^T, \, \, a_2=[a_{12},a_{22},\cdots, a_{m2}]^T, \, \, \cdots, \, \, a_n=[a_{1n},a_{2n},\cdots, a_{mn}]^T \, \, \in C^{m\times 1} \]

则其列向量的所有线性组合的集合构成一个子空间，称为矩阵\(A\)的列空间，用符号\({\rm col}(A)\)表示，i.e.,

\[{\rm col}(A) = {\rm Span}\{a_1,a_2,\cdots, a_n \} = \{ y\in C^m | y = \sum_{i=1}^n{\beta_ja_j}, \beta_j \in C^1 \} \]

\({\rm col}(A)\)的投影矩阵

假设\(b\in C^{M\times 1}\)是一任意的\(m\)维列向量，且并不是列空间\({\rm col}(A)\)中的元素，那么可将其分解为：

\[b = b_\parallel + b_\perp \]

其中，\(b_\parallel\)是\(b\)属于\({\rm col}(A)\)中的分量，i.e.，\({\rm Range}(A)\)，\(b_\perp\)则是正交分量。回忆\(A = [a_1,a_2,\cdots, a_n]\in C^{m\times n}\)，那么对于值域内的分量，一定有：

\[b_\parallel = \kappa_1 a_1 + \kappa_2 a_2 + \cdots + \kappa_n a_n = A \begin{bmatrix} \kappa_1 \\ \vdots \\ \kappa_n \end{bmatrix} = A\kappa, \]

其中，\(\kappa = [\kappa_1,\cdots,\kappa_n]^T \in C^{n\times 1}\)是满足线性方程组\(A\kappa = b_\parallel\)的任意解。对于正交分量，则有：

\[A^Tb_\perp = A^T(b - A\kappa) = 0 \]

上式的含义是\(A\)中的所有列向量与\(b_\perp\)的内积都为零，即正交的定义。由\(A^Tb = A^TA\kappa\)，我们解得：

\[\kappa = (A^TA)^{-1}A^Tb \]

令\(P_A\in C^{m\times m}\)表示\({\rm col}(A)\)的投影矩阵，我们希望：\(b_\parallel = P_Ab\,\)并且\(\, b_\perp = b - P_Ab\)。这样，如果我们将上式左乘\(A\)，即得到\(b_\parallel\)。联立方程组，解得：

\[b_\parallel = P_Ab = A(A^TA)^{-1}A^Tb \\ \therefore P_A = A(A^TA)^{-1}A^T \]

\({\rm col}(A)\)的正交投影矩阵

同上节，令\(P^\perp_A\)为\({\rm col}(A)\)的正交投影矩阵，那么我们希望满足：\(P^\perp_A b =b_\perp\)，联立方程，得到：

\[P^\perp_A b = b_\perp = b - b_\parallel = I_m b - A(A^TA)^{-1}A^T b = (I_m - A(A^TA)^{-1}A^T) b \\ \therefore P^\perp_A = (I_m - A(A^TA)^{-1}A^T) \]

其中，\(I_m \in C^{m\times m}\)是单位阵。

小结

保护矩阵与正交保护矩阵的形式是十分相像的，它们表示“过滤”出当前信号所在的子空间或正交子空间，常见于最小二乘估计中。

参考文献

• 张贤达，矩阵论及其工程应用。
• https://math.stackexchange.com/questions/2178569/show-that-p-aata-1at-is-a-projection-matrix
• StackOverflow..