首先我们来看一个线性回归的问题，在下面的例子中，我们选取不同维度的特征来对我们的数据进行拟合。 对于上面三个图像做如下解释： 选取一个特征，来拟合数据，可以看出来拟合情况并不是很好，有些数据误差还是比较大 针对第一个，我们增加了额外的特征，，这时我们可以看出情况就好 ...

（整理自AndrewNG的课件，转载请注明。整理者：华科小涛@http://www.cnblogs.com/hust-ghtao/） 前面几篇博客主要介绍了线性回归的学习算法，那么它有什么不足的地方么？怎么改进呢？这就是本篇的主题。 为了引出问题，先看一个关于线性的例子 ...

转载请注明出自BYRans博客：http://www.cnblogs.com/BYRans/ 本文主要讲解局部加权(线性)回归。在讲解局部加权线性回归之前，先讲解两个概念：欠拟合、过拟合，由此引出局部加权线性回归算法。 欠拟合、过拟合 如下图中三个拟合模型 ...

Robust regression（稳健回归） 语法 b=robustfit(X,y) b=robustfit(X,y,wfun,tune) b=robustfit(X,y,wfun,tune,const ...

算法特征:回归曲线上的每一点均对应一个独立的线性方程, 该线性方程由一组经过加权后的残差决定. 残差来源于待拟合数据点与拟合超平面在相空间的距离, 权重依赖于待拟合数据点与拟合数据点在参数空间的距离. 算法推导:待拟合方程:\begin{equation}\label{eq_1}h_ ...

算法特征:利用sigmoid函数的概率含义, 借助回归之手段达到分类之目的. 算法推导:Part Ⅰsigmoid函数之定义:\begin{equation}\label{eq_1}sig(x) = \frac{1}{1 + e^{-x}}\end{equation}相关函数图像:由此 ...

局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集，所以每次估计的参数值是不确定的。 局部加权回归优点 ...

线性回归的一个问题可能是有可能出现欠拟合（如下图所示样本），因为它求的是具有最小均方误差的无偏估计。如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每一个点赋予一定的权重，在这 ...