正交基
用 \(q_1、q_2、q_3...q_n\) 表示標准正交基，標准表示長度是單位長度，任何 \(q\) 都與其他 \(q\) 正交，她具有性質：
\[q_i^T.q_j= \begin{array}{cc} \{ & \begin{array}{cc} 0 & i\neq j \\ 1 & i=j \\ \end{array} \\ \end{array} \]
標准正交基讓情況變好，她讓整個計算方便很多，因為她們更容易操控，從不上溢和下溢出。
正交矩陣
我們把這些標准正交的向量放入矩陣 \(Q\) ,作為矩陣 \(Q\) 的每一列。
\[Q=\left( \begin{array}{cccc} q_1 & q_2 & ... & q_n \\ \end{array} \right) \]
前面我們已經研究過 \(A^TA\) ，我們再看看 \(Q^TQ\)
\[Q^TQ=\left( \begin{array}{c} q_1 \\ q_2 \\ ... \\ q_n \\ \end{array} \right).\left( \begin{array}{cccc} q_1 & q_2 & ... & q_n \\ \end{array} \right) =\left( \begin{array}{cccc} 1 & 0 & ... & 0 \\ 0 & 1 & ... & 0 \\ ... & ... & ... & ... \\ 0 & 0 & 0 & 1 \\ \end{array} \right)=I \]
結果為單位陣。
我們可以叫 \(Q\) 為標准正交矩陣。
作為慣例，當 \(Q\) 是方陣的時候，我們才叫她正交矩陣。
方陣的特點是，她具有逆矩陣，所以 \(Q^TQ=I\) ,說明 \(Q^T=Q^{-1}\) 。
舉例1
\[perm Q=\left( \begin{array}{ccc} 0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \\ \end{array} \right) \]
則 \(Q^TQ\) 為
\[\left( \begin{array}{ccc} 0 & 1 & 0 \\ 0 & 0 & 1 \\ 1 & 0 & 0 \\ \end{array} \right).\left( \begin{array}{ccc} 0 & 0 & 1 \\ 1 & 0 & 0 \\ 0 & 1 & 0 \\ \end{array} \right)=I \]
舉例2
\[Q=\left( \begin{array}{cc} \cos \theta & -\sin \theta \\ \sin \theta & \cos \theta \\ \end{array} \right)、Q=\frac{1}{\sqrt{2}}\left( \begin{array}{cc} 1 & 1 \\ 1 & -1 \\ \end{array} \right)、Q=\frac{1}{2} \left( \begin{array}{cccc} 1 & 1 & 1 & 1 \\ 1 & -1 & 1 & -1 \\ 1 & 1 & 1 & 1 \\ 1 & -1 & 1 & -1 \\ \end{array} \right) \]
只有 \(1\) 和 \(-1\) 的正交矩陣稱為阿德瑪（Adhemar）矩陣。列向量長度為 \(1\) 才是單位向量，所以前面乘以相應的系數進行標准化。
舉例3
\(Q\) 當然也可以是長方矩陣。
\[Q=\frac{1}{3} \left( \begin{array}{ccc} 1 & -2 & 2 \\ 2 & -1 & -2 \\ 2 & 2 & 1 \\ \end{array} \right) \]
意義
重復一邊，寫 \(Q\) 就表示標准正交列向量的矩陣。
假設要投影到列空間中
\[\begin {align} P&=Q(Q^TQ)^{-1}Q^T\\ &=QQ^T \end {align} \]
所以，標准正交矩陣簡化了投影矩陣的計算。長方矩陣里面列向量是標准正交，相乘也為單位陣。
如果 \(Q\) 是方陣，則
\[\begin {align} P&=QQ^T\\ &=I \end {align} \]
此時 \(Q\) 列空間就是整個空間，因為列向量方陣，\(m=n\)，且是標准正交基，每列線性無關，她們的線性組合是整個空間，投影到整個空間的投影矩陣就是單位陣，矩陣 \(b\) 的每個向量還在原來的位置，不要改變。（注意，是方陣）
所有的復雜方程，在使用標准正交基后，都會變得非常簡單。
正規方程（\(normal equation\)）中：
\[\begin {align} A^TA\hat x=A^T b \end {align} \]
變為 \(Q\) :
\[\begin {align} Q^TQ\hat x&=Q^T b\\ \rightarrow I\hat x&=Q^T b \end {align} \]
這個方程表示，\(\hat x\) 的分量等於 \(Q^T\) 一行乘以 \(b\) ,即 \(\hat x\) 的 第 \(i\) 個分量等於第 \(i\) 個基向量乘以 \(b\) .
\[\hat x_i=q_i^T.b \]
Graham-Schmidt正交化法
消元法的目的是將矩陣簡化為三角矩陣。
而格拉姆-施密特（Graham-Schmidt）正交化法是將矩陣正交化，使列向量標准正交。
兩列線性無關向量
從兩列線性無關向量的情況開始
假設有有個向量 \(a、b\) ，我們想把這兩個向量正交化得到標准正交向量 \(q_1、q_2\)
第一步：將任意兩個線性無關向量轉換為正交向量 \(A、B\)。
保持 \(a\) 方向不變，求與 $a $ 垂直的向量，即誤差向量 \(e\) .故
\[\begin {align} A&=a\\ B&=e\\ &=b-p\\ &=b-xa\\ &=b-\frac{ A^TA}{ A^Tb}A \end {align} \]
第二步：將正交向量 \(A、B\) 標准化
\[q_1=\frac{ A}{ ||A||}\\ q_2=\frac{ B}{ ||B||}\\ \]
這就是格拉姆-施密特（Graham-Schmidt）正交化法。
三列線性無關向量
假設有有個向量 \(a、b、c\) ，我們想把這兩個向量正交化得到標准正交向量 \(q_1、q_2、q_3\) .
第一步：將任意三個線性無關向量轉換為正交向量 \(A、B、C\)。
\(A、B\) 同兩列線性無關向量一樣，
\[\begin {align} A&=a\\ B&=e\\ &=b-p\\ &=b-xa\\ &=b-\frac{ A^Tb}{ A^TA}A \end {align} \]
\(B\) 其實是向量 \(b\) 減去其在 \(a\) 方向上的投影。
所以 \(C\) 同時需要減去其在 \(a、b\) 方向上的投影，因為 \(C\) 應該同時垂直於 \(A、B\)。
\[C =c-\frac{ A^Tc}{ A^TA}A-\frac{ B^Tc}{ B^TB}B \]
第二步：將正交向量 \(A、B、C\) 標准化
\[q_1=\frac{ A}{ ||A||}\\ q_2=\frac{ B}{ ||B||}\\ q_3=\frac{ C}{ ||C||}\\ \]
舉例
假設兩個向量 \(a、b\)
\[a=\left( \begin{array}{c} 1 \\ 1 \\ 1 \\ \end{array} \right),b=\left( \begin{array}{c} 1 \\ 0 \\ 2 \\ \end{array} \right) \]
我們對其標准正交化，得
\[A=\left( \begin{array}{c} \frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}} \\ \frac{1}{\sqrt{3}} \\ \end{array} \right),B=\left( \begin{array}{c} 1 \\ 0 \\ 2 \\ \end{array} \right)-\frac{3}{3} \left( \begin{array}{c} 1 \\ 1 \\ 1 \\ \end{array} \right)=\left( \begin{array}{c} 0 \\ -1 \\ 1 \\ \end{array} \right) \]
將她們放入矩陣 \(Q\) 中
\[Q=\left( \begin{array}{cc} \frac{1}{\sqrt{3}} & 0 \\ \frac{1}{\sqrt{3}} & -1 \\ \frac{1}{\sqrt{3}} & 1 \\ \end{array} \right) \]
假設原來的兩個向量放入矩陣 \(D\) 中。
\[D=\left( \begin{array}{cc} 1 & 1 \\ 1 & 0 \\ 1 & 2 \\ \end{array} \right) \]
\(D\) 和 \(Q\) 的列空間其實是一樣的，都是同一個平面，因為 \(B\) 是 \(a、b\) 的線性組合，\(A\) 是 \(a\) 的線性組合。我們的計算只是讓矩陣的基標准正交而已。
通過讓矩陣的基標准正交，讓投影以及其他的計算更加簡單。
表達式
我們可以將格拉姆-施密特（Graham-Schmidt）正交化法用一個矩陣表示，即存在一個上三角矩陣 \(R\) ，使得
\[A=QR \]
以 2列 矩陣 \(A\) 為例
\[\left( \begin{array}{cc} a_1 & a_2 \\ \end{array} \right)=\left( \begin{array}{cc} q_1 & q_2 \\ \end{array} \right).\left( \begin{array}{cc} a_1^T q_1 & a_2^T q_1\\ a_1^T q_2& a_2^T q_2\\ \end{array} \right)=\left( \begin{array}{cc} q_1 & q_2 \\ \end{array} \right).\left( \begin{array}{cc} a_1^T q_1 & a_2^T q_1\\ 0& a_2^T q_2\\ \end{array} \right) \]
\(a、q\) 都表示列向量。
其中，因為\(q_1\) 與 \(a_1\) 方向一樣， \(q_2\) 與 \(a_1\) 正交 ，所以 \(a_1^Tq_2=0\)，而 $ a_2^T$ 與 \(q_1\) 的夾角與 $ a_2$ 與 \(a_1\) 夾角一樣，不是正交關系，所以不等於零。矩陣 \(R\) 是一個上三角矩陣。
格拉姆-施密特（Graham-Schmidt）將一組線性無關列的矩陣 \(A\) ,轉換為一組標准正交列的矩陣 \(Q\)，而兩個矩陣的聯系是一個上三角矩陣。
