在上一节中主要介绍了监督学习中的线性回归（模型）、最小二乘法（策略）、梯度下降法（算法）及线性最小二乘法的标准方程（闭式解）。 这节主要介绍两个回归：局部加权回归与逻辑回归，其中穿插一些小的知识点：欠拟合与过拟合、感知机、牛顿方法等。大纲如图： 一、几个概念 ...

做线性回归的时候，检验回归方程和各变量对因变量的解释参数很容易搞混乱，下面对这些参数进行一下说明： 1.t检验：t检验是对单个变量系数的显著性检验 一般看p值； 如果p值小于0.05表示该自变量对因变量解释性很强。 2.F检验：F检验是对整体回归方程显著性的检验，即所有变量 ...

局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集，所以每次估计的参数值是不确定的。 局部加权回归优点 ...

1. LOWESS 用kNN做平均回归： \[\hat{f(x)} = Ave(y_i | x_i \in N_k(x)) \] 其中，\(N_k(x)\)为距离点x最近k个点组成的邻域集合（neighborhood set）。这种邻域平均回归存在很多缺点： 没有考虑到 ...

前言 回顾一下 回归（一）中的 标准线性回归： step1： 对于训练集，求系数w，使得 最小 step2： 对于新输入x，其预测输出为w*x 从中我们知道，标准线性回归可能表达能力比较差，出现如图所示的欠拟合的情况（underfitting ...

线性回归的一个问题可能是有可能出现欠拟合（如下图所示样本），因为它求的是具有最小均方误差的无偏估计。如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每一个点赋予一定的权重，在这 ...

目录： 1、简述 2、数学表达 3、总结 1、简述 　　线性回归是一种 parametric learning algorithm，而局部加权线性回归是一种 non-parametric learning algorithm。Parametric learning ...

局部加权回归(Locally Weighted Regression, LWR) 局部加权回归使一种非参数方法(Non-parametric)。在每次预测新样本时会重新训练临近的数据得到新参数值。意思是每次预测数据需要依赖训练训练集，所以每次估计的参数值是不确定的。 局部加权回归优点 ...