一、正交矩陣
定義：Orthogonal Matrix (必為方陣) 如果$A^TA=AA^T=I$，則$n$階實矩陣$A$稱為正交矩陣
性質：
1）$A^T$是正交矩陣
2）$A$的各行是單位向量且兩兩正交
3）$A$的各列是單位向量且兩兩正交
4）|A|=1或-1
舉例：
二、標准正交矩陣的優勢
1）求解投影矩陣
在投影矩陣章節我們已經知道投影矩陣為：$P=A\left(A^{T} A\right)^{-1} A^{T}$
當矩陣A為標准正交矩陣Q時，由於正交矩陣與其轉置的乘積為單位矩陣，則上式可以轉化為：$P=QQ^{T}$
這樣就將投影矩陣簡單化了。
2）求解$Ax=b$
在投影矩陣章節我們已經知道：$\hat{x}=\left(A^{T} A\right)^{-1} A^{T} b$
當矩陣A為標准正交矩陣Q時，由於正交矩陣與其轉置的乘積為單位矩陣，則上式可以轉化為：$\hat{x}=Q^{T} b$
三、Gram-Schmidt正交化
1）二維情況
假設原來的矩陣為[a,b]，a，b為線性無關的二維向量，下面我們通過Gram-Schmidt正交化獲得標准正交矩陣
假設正交化后的矩陣為Q=[A,B]，我們可以令$A=a$，$B$垂直於$A$，根據我們在前面所講的投影，我們將$b$投影到$a$上，誤差向量$e$即為$B$：
$B=b - \frac{A^{T} b}{A^{T} A}A$
2）三維情況
假設原來的矩陣為[a,b,c]，a,b,c為線性無關的二維向量，正交化后的矩陣為Q=[A,B,C]，我們可以令$A=a$，則可以根據二維情況得到如下猜想：
$B=b - \frac{A^{T} b}{A^{T} A}A$
$C= c - \frac{A^{T} c}{A^{T} A}A - \frac{B^{T} c}{B^{T} B}B$
用$c$減去其在$A$和$B$上的投影就得到我們想要的$C$
3）多維情況
如果我們有更多的向量，那我們就用新的向量減去它在已經設定好的所有向量上的投影即可，最后，我們再除以它們各自的長度就得到了標准正交向量
4）實例
假設矩陣為[a,b]
$a=\left[\begin{array}{l}{1} \\ {1} \\ {1}\end{array}\right], b=\left[\begin{array}{c}{1} \\ {0} \\ {2}\end{array}\right]$
則由二維情況的結論可知：
$A=a$
$B=b - \frac{A^{T} b}{A^{T} A}A$
把具體數值代入得：
經過歸一化得：
原始矩陣的列空間和Q的列空間相同，能夠張成一個二維空間的平面。a和b是原始矩陣列空間的一組基，但這組基“不夠好”
我們還想進一步讓這組基的向量兩兩正交，並且都是單位向量，這就得到了q1和q2
四、矩陣的QR 分解
如同$A = LU$一樣，$A$可以分解成一個正交矩陣和一個上三角矩陣的乘積，$A = QR$
這里$A$是原始矩陣，各列線性無關，$Q$是標准正交矩陣，$R$是上三角矩陣
假設原始矩陣$A$有三個列向量：
$A=[a_1, a_2, a_3]$
按照格拉姆-施密特正交化方法轉換后，得到$q_1, q_2, q_3$：
$Q=[q_1, q_2, q_3]$
我們知道$A = QR$，想求$R$，等式同乘$Q^T$
$R=Q^TA=\left[\begin{array}{l}{q_1^T} \\ {q_2^T} \\ {q_3^T}\end{array}\right][a_1\space a_2\space a_3]$
q和a本身也是列向量，得出結果並不那么直觀，可以展開表達：
下面我們來研究一下$R$中各個元素的值：我們知道$q_1,q_2,q_3$相互正交，所以$q_1^Tq_2=0, q_1^Tq_3=0$
而$q_1$只是$a_1$的單位化，所以：
$a_1^Tq_2=0$
$a_1^Tq_3=0$
前面我們在求解$q_2$的過程中利用了向量相減，我們應該可以看出$q_2$是$a_2$和$q_1$的線性組合，轉置后$q_2^T$是$a_2^T$和$q_1^T$的線性組合，即：
$q_2^T=t_1a_2^T + t_2q_1^T$
如果$t_1=0$，則$q_2$與$q_1$線性相關，不符合標准正交向量的前提，所以$t_1$不等於$0$
$q_2^Tq_3=(t_1a_2^T + t_2q_1^T)q_3=t_1a_2^Tq_3 + t_2q_1^Tq_3=0$
所以：$a_2^Tq_3=0$
$a_2^Tq_2$和$a_3^Tq_3$不為0，如果是0，就沒必要正交化了。$q_3$是$a_3$和$q_1$，$q_2$的線性組合，轉置后相當於$q_3^T$是$a_3^T$和$q_1^T$，$q_2^T$的線性組合：
$q_3^T=t_1a_3^T + t_2q_1^T + t_3q_2^T$
$q_3^Tq_2=(t_1a_3^T + t_2q_1^T + t_3q_2^T)q_2=t_1a_3^Tq_2 + t_2q_1^Tq_2 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + 0 + t_3q_2^Tq_2 = t_1a_3^Tq_2 + t_3q_2^Tq_2=0$
所以：$t_1a_3^Tq_2 = - t_3q_2^Tq_2$ 均不等於$0$
所以：
分解實例：求矩陣$A$的$QR$分解
五、感謝
本文參考，感謝作者分享