線性代數14.正交向量與子空間

正交向量

正交是垂直的另一種說法，她意味着在 \(n\) 維空間中，這些向量的夾角是90度。

兩個向量正交的條件：

\[x^Ty=0 \]

\(x、y\) 表示列向量，\(x^T\) 表示行向量，這個式子就是矩陣乘法中的行點乘列。如果結果為0，那么就說明兩個向量正交。

證明

首先需要理解向量長度的平方在線代中怎么表示？

假設有向量 \(x=\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)\) , 長度平方就是

\[1+2^2+3^2=14 \]

與她正交的向量是 \(y=\left( \begin{array}{c} 2 \\ -1 \\ 0 \\ \end{array} \right)\) ,\(y\) 長度平方是 \(5\) .

\(x+y=\left( \begin{array}{c} 3 \\ 1 \\ 3 \\ \end{array} \right)\) ,\(x+y\) 的長度是 \(19\) .

會發現，長度的平方正好是 向量的轉置乘以其本身。

比如 \(x=\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)\) ,\(x^T=\left( \begin{array}{ccc} 1 & 2 & 3 \\ \end{array} \right)\) ,相乘有

\[x^T.x=\left( \begin{array}{ccc} 1 & 2 & 3 \\ \end{array} \right).\left( \begin{array}{c} 1 \\ 2 \\ 3 \\ \end{array} \right)=14 \]

我們可以用這種方法表示任意實向量的長度的平方。

在一個直角三角形中

當 \(x\) 與 \(y\) 垂直時，有

\[\left\|x\|^2+\left\|y\|^2\right.\right.=\left\|x+y\|^2\right. \]

可以表示為

\[x^T.x+y^T.y=(x+y)^T.(x+y) \]

展開

\[x^T.x+y^T.y=x^T.y+x^T.x+y^T.x+y^T.y \]

消掉同類項有

\[0=x^T.y+y^T.x \]

因為我們進行的是向量點乘，所以 \(x^T.y=y^T.x\) ，都是$x_1y_1+x_2y_2+x_3y_3+...+x_ny_n $所以

\[x^T.y=0 \]

故，兩個正交向量的點積是0.

如果 \(x\) 是零向量，\(y\) 是非零向量，兩個正交嗎？

是。數學重要的一點就是跟着規則走。

零向量和任何向量都正交。

正交子空間

定義

定義子空間 \(S\) 與 子空間 \(T\) 正交， 意味着，\(S\) 中任意一個向量都與 \(T\) 中任意一個向量正交。

前提

假設在一個房間中，一面無限延申的牆和地板，可以把她們看成經過原點的子空間，她們正交嗎？

不是，比如交線和一個在牆上與其成45°的向量，她們不正交。

所以如果兩個子空間在某個非零向量處相交，就絕不是正交子空間。因為這個向量同屬於兩個子空間。

所以兩個子空間正交的前提是，她們一定不會交於某個非零向量。

四個基本子空間的正交性

四個基本子空間中，有

1. 行空間和零空間正交
2. 列空間和左零空間正交

證明

行空間正交於零空間。

我們知道零空間是

\[Ax=\left( \begin{array}{c} \text{row1} \\ \text{row2} \\ ... \\ \text{rown} \\ \end{array} \right).(x)=\left( \begin{array}{c} 0 \\ 0 \\ ... \\ 0 \\ \end{array} \right) \]

這個式子就告訴我們，\(A\) 的每行點乘 \(x\) 結果為0. \(x\) 於 \(A\) 的所有行都正交。

但行空間是行向量的所有的線性組合，我們還需要驗證 \(x\) 是否垂直於她們的線性組合。

假設行空間可以表示為

\[c1.(row1)+c2(row2)=c(row1+row2) \]

有

\[\begin{align} &c(row1+row2).x\\ =&c1.(row1).x+c2.(row1).x\\ =&0 \end{align} \]

所以行空間中的行向量都垂直於零空間中的 \(x\) .證畢。

行空間和零空間正交，表示把 \(n\) 維空間分割為兩個子空間。

列空間和左零空間正交的證明與上面類似。只需要從 \(A^Ty=0\) 出發即可。

列空間和左零空間正交，表示把 \(m\) 維空間分割為兩個子空間。

補充

以三維空間中的正交子空間為例。

假設有兩條過原點的直線，相互垂直，她們可以構成行空間和零空間嗎？

不能，因為兩個子空間都是一維，維數和不等於3.

例如：

\[A=\left( \begin{array}{ccc} 1 & 2 & 5 \\ 2 & 4 & 10 \\ \end{array} \right) \]

可得，\(n=3\)，\(r=1\)，故 \(dim[N(A)]=2\)，零空間是垂直於向量 \((1\quad 2 \quad5)\) 的一個平面。在微積分中，\((1\quad 2 \quad5)\) 是這個平面的一個法向量。

需要強調一點的是：

對於行空間正交於零空間，正交子空間的維數之和等於整個空間的維數。我們把這稱為 \(n\) 維空間的正交補。

這表示零空間包含所有垂直於行空間的向量，而不只是部分。

Ax=b的無解情況

無解情況

\(Ax=b\) 的無解的時候怎么求解？

這種情況很常見，比如 \(A\) 是長方矩陣，\(m>n\) ,右側的取值在大部分的情況下方程組是無解的。

聯系實際情況，假設測量脈搏，為了測量准確性可能測量多次，在多次測量時，結果可能有一些是“壞數據”。（比如護士太漂亮心跳加速）但我們不知道哪一個數據有問題。而且其中也包含很多有用數據。

我們需要做的是，把“壞數據”篩選出來。這正是線性代數需要解決的問題。

用代數語言描述，就是我們得到一些方程，如何求出她們的最優解？

其中一種方法就是不斷去掉一些方程，直到出現有解情況。但這種方法並不完美，因為我們無法知道哪些是有用數據，哪些是無用的，我們希望利用所有的測量值求出“最優解”，從而得到最完整的信息。

解決方法

\(Ax=b\) 無解，把兩邊同時乘以 \(A^T\) ,就能得到“好方程”:

\[A^TA\hat{x}=A^Tb \]

這個方程是本章核心內容。

注意，\(\hat{x}\) 與原本 \(x\) 是不同的。

對於 \(A^TA\) ,我們知道，\(n*m\) 乘以 \(m*n\) 可以得到一個 \(n*n\) 方陣，而且是對稱方陣，因為 \(（A^TA）^T=A^TA^{TT}=A^TA\) .

我們希望求解 \(\hat{x}\) .

\(A^TA\) 性質

\[\left( \begin{array}{cc} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{array} \right)\left( \begin{array}{c} x_1 \\ x_2 \\ \end{array} \right)= \left( \begin{array}{c} b_1 \\ b_2 \\ b_3 \\ \end{array} \right) \]

只有 \(b\) 在 \(A\) 的列空間中才有解。但在實際情況，可能不能得償所願。

我們采用上面方法，\(A\) 乘以 \(A^T\) ,我們可以得到

\[\left( \begin{array}{ccc} 1 & 1 & 1 \\ 1 & 2 & 5 \\ \end{array} \right).\left( \begin{array}{cc} 1 & 1 \\ 1 & 2 \\ 1 & 5 \\ \end{array} \right)=\left( \begin{array}{cc} 3 & 8 \\ 8 & 30 \\ \end{array} \right) \]

\(\left( \begin{array}{cc} 3 & 8 \\ 8 & 30 \\ \end{array} \right)\) 是可逆方陣。

但注意結果並不一定是可逆的。比如

\[\left( \begin{array}{ccc} 1 & 1 & 1 \\ 3 & 3 & 3 \\ \end{array} \right).\left( \begin{array}{cc} 1 & 3 \\ 1 & 3 \\ 1 & 3 \\ \end{array} \right)=\left( \begin{array}{cc} 3 & 9 \\ 9 & 27 \\ \end{array} \right) \]

\(A^TA\) 重要性質：

\[rank\quad of\quad A^TA = rank\quad of\quad A \]

\[N（A^TA）=N(A) \]

\(A^TA\) 可逆，當且僅當 \(A\) 的各列線性無關。

下節課證明。