线性回归和逻辑回归的正则化regularization

线性回归

介绍

为了防止过度拟合，正则化是一种不错的思路。能够使得获得的边界函数更加平滑。更好的模拟现实数据，而非训练样本。

 

方法

可以说，regularization是添加惩罚，使得参数 接近于零，这里1<=j<=n，也即不对 进行regularization。

正规化后的代价函数 。则该代价函数梯度见图一中（1-1）。

 

对于使用梯度下降算法，其梯度的矢量表达见图一中（1-2）。

 

对于线性回归的正规方程推导过程见图一

 

 

逻辑回归

 

同样的，逻辑回归同样需要加入惩罚项。

则逻辑回归的代价函数为

 

逻辑回归的梯度为

 

 

令 =[0; (2:n)]则

其矢量表达为: 。

 

 

matlab实现

逻辑回归部分matlab实现见网盘http://pan.baidu.com/s/1kT1Tvqn