注：正则化是用来防止过拟合的方法。在最开始学习机器学习的课程时，只是觉得这个方法就像某种魔法一样非常神奇的改变了模型的参数。但是一直也无法对其基本原理有一个透彻、直观的理解。直到最近再次接触到这个概念 ...

岭回归的原理： 首先要了解最小二乘法的回归原理 设有多重线性回归模型 y=Xβ+ε ,参数β的最小二乘估计为 当自变量间存在多重共线性,|X'X|≈0时，设想|X'X|给加上一个正常数矩阵 ...

概述 今天要说一下机器学习中大多数书籍第一个讲的（有的可能是KNN）模型-线性回归。说起线性回归，首先要介绍一下机器学习中的两个常见的问题：回归任务和分类任务。那什么是回归任务和分 ...

一 线性回归（Linear Regression ) 1. 线性回归概述 　　回归的目的是预测数值型数据的目标值，最直接的方法就是根据输入写出一个求出目标值的计算公式，也就是所谓的回归方程，例如y ...

1、线性回归 优点：结果易于理解，计算上不复杂。 缺点：对非线性的数据拟合不好。 适用数据：数值型、标称型。 回归的目的是预测数值型的目标值。最直接的办法是依据输入写出一个目标值的计算公式；这就是回 ...

7 种回归方法！请务必掌握！ https://mp.weixin.qq.com/s/k_UA4LIEji14fucj_NH7Cg 线性回归和逻辑回归通常是人们学习预测模型的 ...

具有L2正则化的线性最小二乘法。岭回归是一种专用于线性数据分析的有偏估计回归方法，实质上是一种改良的最小二乘估计法，通过放弃最小二乘法的无偏性，以损失部分信息、降低精度为代价获得回归系数更为符合实际、 ...

多元线性回归模型中，如果所有特征一起上，容易造成过拟合使测试数据误差方差过大；因此减少不必要的特征，简化模型是减小方差的一个重要步骤。除了直接对特征筛选，来也可以进行特征压缩，减少某些不重要的特征系数 ...

背景： 考虑一个多项式拟合问题，如下图，绿线的方程是sin(2πx)sin⁡(2πx)，蓝点是由绿线并加上噪音（这些噪音是默认符合正态分布的）生成。已知条件是由NN个点构成的训练集x=(x1,... ...