十大经典预测算法（二）----逻辑回归
一、逻辑回归概念 线性回归可以拟合X与Y之间的关系，但回归模型中Y值是连续的，如果换成一个二分类标签，Y只能取两个值0、1，这时候就不能用线性回归了，这样就有了逻辑回归。 针对Y的值域在区间[0-1]的问题，我们不能寻找到一条完美曲线，用于拟合二分类模型，但我们可以寻找一条完美的S型 ...
原文：十大经典预测算法（一）----线性回归
回归问题就是拟合输入变量x与数值型的目标变量y之间的关系，而线性回归就是假定了x和y之间的线性关系，公式如下： 如下图所示，我们可以通过绘制绘制 x,y 的散点图的方式来查看x和y之间是否有线性关系，线性回归模型的目标是寻找一条穿过这些散点的直线，让所有的点离直线的距离最短。这条完美直线所对应的参数就是我们要找的线性回归模型参数w ,w ,w b 最小二乘法是一种求解回归模型参数w ,w ,w ...
2019-01-02 20:52 0 4135 推荐指数：
相关推荐
十大经典预测算法
线性回归 输入与输出符合线性关系 定义损失函数，损失函数是点（输入 ，标签）到直线的距离表示，越小越好 通过梯度下降的方法，求解最优参数 是一个迭代更新的过程 属于监督学习 逻辑回归 输入属于与输入不符合线性关系 标签为0-1 只能通过梯度下降来求最优 ...
十大经典预测算法
十大经典预测算法（一）----线性回归 十大经典预测算法（二）----逻辑回归 十大经典预测算法（四）----支持向量机（SVM算法） 十大经典预测算法（六）---集成学习（模型融合算法） 十大经典预测算法（七）---随机森林 十大经典预测算法（八）---ADBOOST 十大经典预测算法 ...
十大经典预测算法（九）---GBDT
GBDT又叫梯度提升决策树，它也属于Boosting框架。GBDT核心原理如下： 如图所示，用GBDT预测年龄，第一轮，预测到年龄为20，它和真实值之间的残差为10，第二轮，GBDT开始预测上一轮的残差10，预测结果为6，这一轮 的残差为4，第三轮，以年龄4为预测目标，预测来的值 ...
十大经典预测算法（七）---随机森林
算法概述 随机森林，顾名思义就是由很多决策树融合在一起的算法，它属于Bagging框架的一种算法。 随机森林的“森林”，它的弱模型是由决策树算法训练的（CART算法），CART算法即能做回归也能做分类，“随机”是指构造的模型有一定的随机性。 每一颗决策树模型的训练 ...
十大经典预测算法（八）---adboost
一、基本原理 AdaBoost是adaptive boosing的缩写，它是一种基于Boosting框架的算法。下图为该算法的迭代过程。 AdaBoost从原始数据集D1开始学习第个模型，经过三轮的迭代，得到三个弱分类器，每一轮的迭代都要评估下模型的分类误差，在一轮时把分错的样本进行 ...
十大经典预测算法（六）---集成学习（模型融合算法）
模型融合算法概念 它不是具体的指某一个算法，而是一种把多个弱模型融合合并在一起变成一个强模型的思想 用模型融合算法的原因 1、单个模型容易过拟合，多个模型融合可以提高范化能力 2、单个模型预测能力不高，多个模型往往能提高预测能力 3、对于数据集过大或过小，可以分别进行划分 ...
十大经典预测算法（四）----支持向量机（SVM算法）
一、概念：SVM思想和线性回归很相似，两个都是寻找一条最佳直线。 不同点：最佳直线的定义方法不一样，线性回归要求的是直线到各个点的距离最近，SVM要求的是直线离两边的点距离尽量大。 SVM本质， 距离测度，即把点的坐标转换成点到几个固定点的距离 ，从而实现升维 ...