线性回归 算法优缺点： 优点：结果易于理解，计算不复杂 缺点：对非线性数据拟合不好 适用数据类型：数值型和标称型 算法思想： 这里是采用了最小二乘法计算（证明比较冗长略去）。这种方式的优点是计算简单，但是要求 ...

线性回归的一个问题可能是有可能出现欠拟合（如下图所示样本），因为它求的是具有最小均方误差的无偏估计。如果模型欠拟合将不能取得最好的预测效果。所以有些方法允许在估计中引入一些偏差，从而降低预测的均方误差。其中的一个方法是局部加权线性回归。在该算法中，我们给待预测点附近的每一个点赋予一定的权重，在这 ...

目录： 1、简述 2、数学表达 3、总结 1、简述 　　线性回归是一种 parametric learning algorithm，而局部加权线性回归是一种 non-parametric learning algorithm。Parametric learning ...

前言 回顾一下 回归（一）中的 标准线性回归： step1： 对于训练集，求系数w，使得 最小 step2： 对于新输入x，其预测输出为w*x 从中我们知道，标准线性回归可能表达能力比较差，出现如图所示的欠拟合的情况（underfitting ...

回归是统计学中最有力的工具之一。机器学习监督学习算法分为分类算法和回归算法两种，其实就是根据类别标签分布类型为离散型、连续性而定义的。回归算法用于连续型分布预测，针对的是数值型的样本，使用回归，可以在给定输入的时候预测出一个数值，这是对分类方法的提升，因为这样可以预测连续型数据而不仅仅是离散的类别 ...

输出是一个连续的数值。 模型表示 对于一个目标值，它可能受到多个特征的加权影响。例如宝可梦精灵的进化的 cp 值，它不仅受到进化前的 cp 值的影响，还可能与宝可梦的 hp 值、类型、高度以及重量相关。因此，对于宝可梦进化后的 cp 值，我们可以用如下线性公式来表示： \[y=b+ ...

看下面三幅图，x 轴是房间面积，y 轴是房价。 左图是 y = θ0 + θ1x 拟合数据集的结果。可以看到数据并不贴靠在直线上，所以拟合并不好。 中图是 y = θ0 + θ1x + θ2x ...

前言 由于本部分内容讲解资源较多，本文不做过多叙述，重点放在实际问题的应用上。 一、线性回归 线性回归中的线性指的是对于参数的线性的，对于样本的特征不一定是线性的。 线性模型（矩阵形式）：y=XA+e 其中：A为参数向量，y为向量，X为矩阵,e为噪声向量。 对于线性模型 ...