1 一元回歸與多元回歸
任何一本初級水平的計量經濟學、統計學或機器學習相關書籍，都會詳細推導多元線性線性回歸的解，在這里就不再贅述。
我們給出本文用到的一些設定。\(y\)為\(N\)維因變量向量，假設\(y=X\beta+\epsilon\)，如果自變量為\(p\)維，將\(X\)排為\(N\times (p+1)\)矩陣，其中第一列\(x_{\cdot 0}=1_N\)為全是\(1\)的截距項，我們有最小二乘估計：
如果是單變量回歸，並且沒有截距項的話，將自變量記為\(N\)維向量\(x\)，\(y=x'\beta\)中\(\beta\)的最小二乘估計為
二者有何聯系？如果在多變量回歸中，\(X\)的列向量相互正交即\(X'X\)為對角矩陣，則可以得出，每個系數的估計值為\(\hat\beta_j=\dfrac{x_{\cdot j}'y}{x_{\cdot j}'x_{\cdot j}}\)。
這給了我們一種啟示，能否構造出相互正交的一些維度？
2 Gram–Schmidt過程
我們用如下過程計算\(\hat\beta_p\)：
- \(z_{\cdot 0}=x_{\cdot 0}=1_N\)；
- 遍歷\(j = 1,\ldots,p\)：用\(x_{\cdot j}\)對\(l=0,\ldots, j-1\)的每個\(z_{\cdot l}\)分別做無截距項的一元線性回歸，分別得到系數\(\hat\gamma_{lj}=\dfrac{z_{\cdot l}'x_{\cdot j}}{z_{\cdot l}'z_{\cdot l}}\)，最后得到\(z_{\cdot j}=x_{\cdot j}-\sum_{k=0}^{j=1}\hat\gamma_{kj}z_{\cdot k}\)；
- 再用\(y\)對\(z_{\cdot p}\)做無截距項的一元回歸，得到最終的\(\hat\beta_p=\dfrac{z_{\cdot p}'y}{z_{\cdot p}'z_{\cdot p}}\)。
由於\(x_{\cdot p}\)只在\(z_{\cdot p}\)中出現，並且與\(z_{\cdot 0},\ldots,z_{\cdot p-1}\)均正交，因此有以上結果。若\(\epsilon\sim N(0,\sigma^2 I_N)\)，則該估計的方差可以寫為
注意到，每一個維度都可以作為第\(p\)維，因此，每一個\(\hat\beta_j\)都可以用這樣的方法得出。
3 QR分解
如果補充上\(\hat\gamma_{jj}=0\)，其中\(j=0,\ldots,p\)，將所有的\(\hat\gamma_{ij}\)排成\((p+1)\times (p+1)\)的上三角矩陣\(\Gamma\)，同時再記\(Z=(z_{\cdot 0}, z_{\cdot 1},\ldots, z_{\cdot p})\)，則有
再構造一個\((p+1)\times (p+1)\)的對角矩陣\(D\)，對角線元素為\(D_{ii}=\Vert z_{\cdot i}\Vert\)，即\(Z'Z=D^2\)，在上式中間插入\(D^{-1}D=I_{p+1}\)，則有
記\(Q=ZD^{-1}\)，\(R=D\Gamma\)，這就是矩陣\(X\)的QR分解：\(X=QR\)。
由於\(Z\)的列向量相互正交，因此\(Q'Q=D^{-1}Z'ZD=I_{p+1}\)，而\(R\)還是一個上三角矩陣。利用QR分解，我們可以將最小二乘估計寫為
並有擬合值
由於\(R\)是上三角矩陣，且最后一行為\((0,\ldots,0,\Vert z_{\cdot p}\Vert)\)，因此\(R^{-1}\)也是上三角矩陣，且最后一行為\((0,\ldots,0,1/\Vert z_{\cdot p}\Vert)\)。再利用\(Q=(z_{\cdot 0}/\Vert z_{\cdot 0}\Vert, z_{\cdot 1}/\Vert z_{\cdot 1}\Vert,\ldots, z_{\cdot p}/\Vert z_{\cdot p}\Vert)\)，可得出\(R^{-1}Q'\)的最后一行為\(z_{\cdot p}'/\Vert z_{\cdot p}\Vert^2\)，因此，有
這也與第2節的結果一致。
參考文獻
- Hastie, Trevor, Robert Tibshirani, and Jerome Friedman. The elements of statistical learning: data mining, inference, and prediction. Springer Science & Business Media, 2009.