AdaBoost（Adaptive Boosting）：自适应提升方法。 1、AdaBoost算法介绍 AdaBoost是Boosting方法中最优代表性的提升算法。该方法通过在每轮降低分对样例的权重，增加分错样例的权重，使得分类器在迭代过程中逐步改进，最终将所有分类器线性组合得到最终分类器 ...

看了很多篇解释关于Adaboost的博文，觉得这篇写得很好，因此转载来自己的博客中，以便学习和查阅。 原文地址：《Adaboost 算法的原理与推导》，主要内容可分为三块，Adaboost介绍、实例以及公式推导。 1 Adaboost的原理 1.1 Adaboost是什么 ...

在上一篇博客里，我们讨论了关于Bagging的内容，其原理是从现有数据中有放回抽取若干个样本构建分类器，重复若干次建立若干个分类器进行投票，今天我们来讨论另一种算法：提升（Boost）。 简单地来说，提升就是指每一步我都产生一个弱预测模型，然后加权累加到总模型中，然后每一步弱预测模型生成 ...

1. 回顾boosting算法的基本原理 　　　　在集成学习原理小结中，我们已经讲到了boosting算法系列的基本思想，如下图： 　　　　从图中可以看出，Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱 ...

　　　　在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法 ...

机器学习的有监督算法分为分类和回归两种。 回归：通过输入的数据，预测出一个值，如银行贷款，预测银行给你贷多少钱。 分类：通过输入的数据，得到类别。如，根据输入的数据，银行判断是否给你贷款。 一、线性回归 　　现在这里有一个例子　　数据：工资和年龄（2个特征）　　目标：预测银行 ...

1、从几何的角度去理解PCA降维 　　以平面坐标系为例，点的坐标是怎么来的？ 　　　　 　　　　　　　　图1 ...