線性回歸和邏輯回歸的正則化regularization

線性回歸

介紹

為了防止過度擬合，正則化是一種不錯的思路。能夠使得獲得的邊界函數更加平滑。更好的模擬現實數據，而非訓練樣本。

 

方法

可以說，regularization是添加懲罰，使得參數 接近於零，這里1<=j<=n，也即不對 進行regularization。

正規化后的代價函數 。則該代價函數梯度見圖一中（1-1）。

 

對於使用梯度下降算法，其梯度的矢量表達見圖一中（1-2）。

 

對於線性回歸的正規方程推導過程見圖一

 

 

邏輯回歸

 

同樣的，邏輯回歸同樣需要加入懲罰項。

則邏輯回歸的代價函數為

 

邏輯回歸的梯度為

 

 

令 =[0; (2:n)]則

其矢量表達為: 。

 

 

matlab實現

邏輯回歸部分matlab實現見網盤http://pan.baidu.com/s/1kT1Tvqn