前言
以下內容是個人學習之后的感悟，轉載請注明出處~
正規方程法
一、函數參數向量化
在計算機中，我們需要用同樣的算法計算大量數據樣本時，一般有兩種方式：循環、參數向量化。
循環~，可想而知，計算量不是一般的大，不建議。
參數向量化的效率就高多了，把全部樣本轉換為向量，一次執行就搞定了。具體向量化方法，如下圖所示，以線性回歸
方程hθ(x)=θ0+θ1x1為例，最終轉換為θ的等價公式，為正規方程法做好准備。
（注：X為樣本矩陣，每一行為特征向量x的轉置）
看到這里，相信很多童鞋的內心是崩潰的，上面這個公式是怎么來的，你倒是講清楚啊~
推導過程如下：
1、這是4個樣本的特征向量，每個樣本的輸出值hθ(x)=θTx。
2、特征向量組合成樣本矩陣X
3、輸出值向量y=Xθ(學過矩陣論的童鞋都能看得出來這是怎么來的，我就不多說了)
二、正規方程法
直接根據上圖中的θ等價公式，采用所給樣本，進行矩陣運算即可。
注意：由於矩陣的特殊性，以下三點需要謹慎對待。
- 矩陣（XTX）不可逆
原因1：所求參數大於樣本數。
措施 ：增加樣本數。
原因2：特征值太多。
措施 ：刪除一些冗余的特征值。
- 樣本量n太大
矩陣求逆的計算復雜度為O(n3)，當樣本量太大時，計算量過大，此時，不建議采用正規方程法。
- 函數太復雜
此時無法使用正規方程法。
以上是全部內容，如果有什么地方不對，請在下面留言，謝謝~