线性回归
- 输入与输出符合线性关系
- 定义损失函数，损失函数是点（输入 ，标签）到直线的距离表示，越小越好
- 通过梯度下降的方法，求解最优参数
- 是一个迭代更新的过程
- 属于监督学习
逻辑回归
- 输入属于与输入不符合线性关系
- 标签为0-1
- 只能通过梯度下降来求最优参数
- 分类任务，
GBDT （梯度提升决策树）
- 残差值 = 真实值-预测值
- 将残差值作为下一轮的真实值
- 迭代数次后，将所有的预测值相加
adboost
- AdaBoost是一种Boosting的融合算法，它通过级联的方式，把一系列的弱学习模型融合在一起变成一个强分类器。
- AdaBoost既可以做分类，也可以做回归
- AdaBoost做分类模型的时候，默认的基学习类型是决策树。
- AdaBoost的多个子模型通过加权求和的方式融合，并不是简单的求平均，子模型的权重取决于子模型的误差率大小，误差率越小，权值越大
支持向量机（SVM算法）
- 通过核涵式，实现了将一位空间的运算映射到高维空间
- 类似线性回归，求一条拟合的直线
- 与线性回归的不同点：损失函数的值是越大越好，也就是点和直线之间的距离越大越好