模型設定與假設
多元線性回歸與一元線性回歸在思想上並沒有太大的不同 ，不過是多了一些變量罷了。考慮問題的角度要從之前的二維空間進階到高維空間。傳統的多元線性回歸模型可以用矩陣來描述。
按照OLS估計方法得出的多元線性回歸的參數結果為
對於該式而言Y的估計值
其實正是n維向量Y 在n*k維矩陣（不存在向量自相關）所張成的k維空間上的正交投影。
正交投影是什么？
使用余弦定理也可以說明Xb就是n維空間中的向量y在由X(n*p)矩陣構成的p維空間 
中的正交投影。
正交投影矩陣可以由余弦定理推出：以二維空間為例說明
（余弦定理的證明可見http://www.cnblogs.com/pingzeng/p/5025672.html）
擴展到多維度空間的情況
便為矩陣X所張成的k維空間 的正交投影矩陣。
該矩陣乘上任何一個n維向量所得到的結果即為該n維向量在空間
的正交投影。