1. 投影
向量 $ b = (2, 3, 4)$ 在 \(z\) 軸上和在 \(xy\) 平面上的投影是什么，哪個矩陣能產生到一條線上和到一個平面的投影？
當 \(b\) 被投影到 \(z\) 軸上時，它的投影 \(p\) 就是 \(b\) 沿着那條線的部分。當 \(b\) 被投影到一個平面時，它的投影就是 \(b\) 在平面中的部分。
到 \(z\) 軸上的投影 \(p_1 = (0, 0, 4)\)，到 \(xy\) 平面上的投影 \(p_2 = (2, 3, 0)\)，兩個投影矩陣 \(P_1\) 和 \(P_2\) 分別為
\(P_1\) 就是選出每個向量的 \(z\) 分量， \(P_2\) 就是選出每個向量的 \(x\) 和 \(y\) 分量。
在這個例子中，\(z\) 軸和 \(xy\) 平面是正交子空間，就像地面和兩面牆的交線一樣。
除此之外，它們還是正交補的。整個空間的任意向量都可以表示為它們在兩個子空間中分量的和。
2. 到一條線上的投影
假設一條過原點的直線方向為 \(a = (a_1, a_2,\cdots, a_m)\)，我們要將點 \(b = (b_1, b_2,\cdots, b_m)\) 投影到這條直線上。
投影 \(p\) 和 \(a\) 在一條直線上，因此有 \(p = \hat xa\)，誤差 \(e = b-p = b-\hat xa\)，然后由 \(e\) 垂直於 \(a\)，我們可得。
因此，可求得系數 \(\hat x\) 為
投影為 \(p = \hat x a = \frac{a^Tb}{a^Ta} a\)。
如果 \(b=a\)，那么 \(\hat x = 1\)，投影還是它自己，\(Pa = a\)。 如果 \(b\perp a\)，那么 \(\hat x = 0\)，投影為 0。
將投影重寫為 \(p = a \hat x =a \frac{a^Tb}{a^Ta} = \frac{aa^T}{a^Ta}b\)。因此，投影矩陣 \(P = \frac{aa^T}{a^Ta}\)。
如果向量 \(a\) 變為兩倍，投影矩陣 \(P\) 不變，它還是投影到同一條直線。如果投影矩陣平方，那就是進行兩次投影，和進行一次投影是一樣的結果，因此有 \(P^2=P\)。
同時，\(I-P\) 也是一個投影矩陣，\((I-P)b = b-p = e\)。當 \(P\) 投影到一個子空間時，\(I-P\) 投影到和它垂直的另一個子空間。
3. 到子空間的投影
假設 \(n\) 個 \(\boldsymbol R^m\) 空間中的向量 \(a_1,\cdots,a_n\) 是線性不相關的，我們想找到一個線性組合 \(p=\hat x_1 a_1+\cdots+\hat x_n a_n\) 使得 \(p\) 距離一個給定向量 \(b\) 最近。
\(a_1,\cdots,a_n\) 可以看做是矩陣 \(A\) 的列，我們要找的線性組合是在矩陣 \(A\) 的列空間中。我們要找的是距離\(b\) 最近的一個組合 \(A\hat x\)，也就是 \(b\) 在列空間的投影。
同理，誤差 \(e=b-A\hat x\) 垂直於子空間，也就是垂直於子空間的所有向量。
也即
\(A^TA\) 是一個 n×n 的矩陣，因為 \(A\) 的列是線性不相關的，所以其是可逆的。可得線性組合系數為
所以有，投影和投影矩陣分別為
由 \(A^T(b-A\hat x) = 0\) 可知，誤差 \(e\) 位於 \(A\) 的左零空間 \(N(A^T)\) 中，向量 \(b\) 被分為了投影 \(p\) 和誤差 \(e\) 兩部分。
\(A^TA\) 是可逆的當且僅當 \(A\) 的列是線性不相關的。
當 \(Ax=0\) 時，我們有 \(A^TAx=0\)。而當 \(A^TAx=0\) 時，我們有
因此 \(A^TA\) 和 \(A\) 有着一樣的零空間，當 \(A\) 的列線性不相關時，\(A^TA\) 是一個方陣，對稱並且可逆。
獲取更多精彩，請關注「seniusen」!
