Ridge regression 通过对系数的大小施加惩罚来解决 普通最小二乘法 的一些问题。岭回归系数最小化的是带惩罚项的残差平方和，数学形式如下： m i n ...

就是修改线性回归中的损失函数形式即可，岭回归以及Lasso回归就是这么做的。 岭回归与Las ...

概念 在回归（一）中提到用最小二乘法求解回归系数的过程中需要考虑特征矩阵是否可逆的问题，事实上当特征数量比样本数量多的时候（样本数m大于特征数n，X不是满秩矩阵）就会遇到这个问题，这个时候标准线性回归显然就无从下手了 引入岭回归就是为了解决这个问题，它是最先 ...

　　 ...

线性回归模型的短板 岭回归模型 λ值的确定--交叉验证法 岭回归模型应⽤ 寻找最佳的Lambda值 基于最佳的Lambda值建模 Lasso回归模型 LASSO回归模型的交叉验证 Lasso回归模型应用 ...

由于计算一般线性回归的时候，其计算方法是： p = (X’* X)**(-1) * X’ * y 很多时候 矩阵(X’* X)是不可逆的，所以回归系数p也就无法求解， 需要转换思路和方法求解：加2范数的最小二乘拟合（岭回归） 岭回归模型的系数表达式： p = (X’ * X ...

回归和分类是机器学习算法所要解决的两个主要问题。分类大家都知道，模型的输出值是离散值，对应着相应的类别，通常的简单分类问题模型输出值是二值的，也就是二分类问题。但是回归就稍微复杂一些，回归模型的输出值是连续的，也就是说，回归模型更像是一个函数，该函数通过不同的输入，得到不同的输出 ...

时就会表现出病态的特征。 回归分析中常用的最小二乘法是一种无偏估计。 $XB=Y$ 当X列满秩时 ...