為了求得參數θ,也可以不用迭代的方法(比如梯度下降法對同一批數據一直迭代),可以采用標准方程法一次性就算出了θ,而且還不用feature scaling(如果feature不多的話,比如一萬以下,用這種方法最好)。
標准方程法介紹:
(1)
這里面,X的第一列是人為添加的,為了方便運算的,都置為1,后面才是真正的特征。
(2)
下面是樣本對應的輸出:
(3)
設擬合函數為: h(x) = θ0 * x0 + θ1 * x1 .... + θn * xn ( 其中x0 = 1)
(4)
采用均方誤差定好代價函數
最終結果 :
證明:
要使得J最小,則有J對θ的導數=0,則
證完。
補充:
若不可逆,則
1)可能是有兩列是線性相關的,那么就刪除一個特征;
2)可能是特征值過多,則刪除一些特征值。