轉載請注明出自BYRans博客：http://www.cnblogs.com/BYRans/
線性回歸中提到最小二乘損失函數及其相關知識。對於這一部分知識不清楚的同學可以參考上一篇文章《線性回歸、梯度下降》。本篇文章主要講解使用最小二乘法法構建損失函數和最小化損失函數的方法。
最小二乘法構建損失函數
最小二乘法也一種優化方法，用於求得目標函數的最優值。簡單的說就是：讓我們的預測值與真實值總的擬合誤差（即總殘差）達到最小。
在線性回歸中使用最小二乘法構建了損失函數：
上一篇文章《線性回歸、梯度下降》中提到求解使損失函數J(θ)取最小的θ值有兩種方法：梯度下降（gradient descent）和正則方程（The normal equations）。下面主要講一下正則方程。梯度下降方法最小化損失函數參考文章《線性回歸、梯度下降》
正則方程
將訓練特征表示為X矩陣，結果表示成y向量，仍然是線性回歸模型，損失函數不變。那么θ可以直接由下面公式得出：
推導過程涉及線性代數方面的知識，這里不再詳細展開線性代數知識。
設m為訓練樣本數；x為樣本中的自變量，即二手房價格預測中的房屋面積和我是數目，x為n維向量；向量y為訓練數據中的房屋價格，y為m維向量。那么訓練數據可以用矩陣表示為：
因為
，所以
就可以表示為：
損失函數就轉化為：
線性代數中有兩個公式：
其中符號
表示一個m*n的矩陣，這個矩陣的第(i,j)個元素為
。上面兩個公式合起來可以表示為：
依據這這個公式對損失函數J(θ)推導：
為了最小化J(θ)，又因為J(θ)由最小二乘法得到，J(θ)的取值大於等於0，即最小值為0。所以，我們使
，從而得到θ取值：
