1 orthonormal 向量與 Orthogonal 矩陣
orthonormal 向量定義為 
，任意向量 
相互垂直，且模長為1；
如果將 orthonormal 向量按列組織成矩陣，矩陣為 Orthogonal 矩陣，滿足如下性質：
；
當 
為方陣時，
為其逆矩陣；當 
為長方形矩陣時，
為其左逆；
當矩陣 Q 為正交矩陣時，對向量變換變換前后點積不發生改變，
，證明如下：
，當 x = y 時，有 
。
對任意向量 b ，可以分解為一組正交向量的線性組合，
，要求解系數x，可先寫成矩陣形式：
，
，
；
因此，向量 b 可分解為 
。
2 Gram-Schmidt 與 QR 分解
對矩陣 
，可以將其轉換為正交矩陣 
，方法如下：
1）向量 
方向保持不變，將其長度歸一化， 
；
2）向量 
可分解為向量 
投影分量與垂直於向量 的兩分量，剔除投影分量得 
，
；
3）同理，剔除向量 
在 ， 上投影分量得 
，
；
4）依照如上方法，可以對所有向量完成正交化。
以上處理可以使用矩陣表示，矩陣 Q 為矩陣 A 的列進行線性變換結果，故可寫為 A=QR 。
1）向量 與向量 
具有相同方向，故可表示為 
；
2）向量 
被分解為 
方向向量，可表示為 
；
3）向量 
被分解為 
方向向量，可表示為 
；
4）綜上表示為矩陣形式 
。
3 求解 Ax=b
使用 Gram-Schmidt 可將矩陣 A 轉換為正交矩陣 Q，正交矩陣 Q 可簡化 Ax=b 運算：
1）最小二乘法求解 
；
2）帶入 
得 
，化簡得 
；
3）不管長方形矩陣還是方陣，都有 
，故上式可化簡為 
；
4）由於 R 為上三角矩陣，使用回代法即可求解。
4 函數空間
向量 QR 分解可以推廣到函數，向量內積表示各分量乘積之和，對於連續函數可表示為 
，
函數長度可表示為 
，使用函數內積與函數長度定義，可以對函數按向量投影方法進行類似分解。
1）最小二乘法求解近似函數
給定函數 
，求解在區間 
上的二階近似函數 
。
a. 令 
，表示在區間 上，對於任意 
都有 
；
b. 使用最小二乘法得 
，
；
c. 轉換為積分得 
，可求解 k, b 。
2）Legendre polynomials
以上方程 使用高斯消元法求解，但隨着多項式次數增加，消元法會產生很大的截斷誤差。
使用 Gram-Schmidt 方法，將各個多項式基轉換為正交函數，可以簡化運算。
設原始多項式基為 
，可做如下變換：
a. 保持第一個函數方向不變，對長度進行歸一化處理，
；
b. 函數 x 與函數 1 在區間 上正交，故僅需對長度歸一化，
；
c. 函數 
與函數 x 和 1 在區間 上均不正交，減去投影分量使其正交，
，
，
帶入求解得 
；
d. 使用同樣方式求得 
，
。
通過以上函數基，任意多項式可以改寫為以上函數基的線性組合。當僅使用幾個低階函數基表示時，類似線性代數投影近似。
對給定函數 ，求解在區間 上的二階近似函數 使用多項式函數基求解如下：
函數 在 
上投影為：
；
整理得 
。
3）傅里葉級數
函數的傅里葉級數使用三角函數為基線性展開，三角函數是互相正交的，當進一步對其歸一化后構成一組函數基。任意函數被三角函數分解為：
，對應系數為函數與歸一化三角函數內積
，
。
參考資料 Linear Algebra And Its Applications Gilbert Strang
Gram-Schmidt for functions: Legendre polynomials S. G. Johnson, MIT course 18.06