转自http://blog.csdn.net/v_july_v/article/details/40718799 Adaboost 算法的原理与推导 0 引言 一直想写Adaboost来着，但迟迟未能动笔。其算法思想虽然简单：听取多人意见，最后综合决策，但一般书上对其算法 ...

看了很多篇解释关于Adaboost的博文，觉得这篇写得很好，因此转载来自己的博客中，以便学习和查阅。 原文地址：《Adaboost 算法的原理与推导》，主要内容可分为三块，Adaboost介绍、实例以及公式推导。 1 Adaboost的原理 1.1 Adaboost是什么 ...

在上一篇博客里，我们讨论了关于Bagging的内容，其原理是从现有数据中有放回抽取若干个样本构建分类器，重复若干次建立若干个分类器进行投票，今天我们来讨论另一种算法：提升（Boost）。 简单地来说，提升就是指每一步我都产生一个弱预测模型，然后加权累加到总模型中，然后每一步弱预测模型生成 ...

1. 回顾boosting算法的基本原理 　　　　在集成学习原理小结中，我们已经讲到了boosting算法系列的基本思想，如下图： 　　　　从图中可以看出，Boosting算法的工作机制是首先从训练集用初始权重训练出一个弱学习器1，根据弱学习的学习误差率表现来更新训练样本的权重，使得之前弱 ...

　　　　在集成学习原理小结中，我们讲到了集成学习按照个体学习器之间是否存在依赖关系可以分为两类，第一个是个体学习器之间存在强依赖关系，另一类是个体学习器之间不存在强依赖关系。前者的代表算法就是是boosting系列算法。在boosting系列算法中， Adaboost是最著名的算法 ...

机器学习的有监督算法分为分类和回归两种。 回归：通过输入的数据，预测出一个值，如银行贷款，预测银行给你贷多少钱。 分类：通过输入的数据，得到类别。如，根据输入的数据，银行判断是否给你贷款。 一、线性回归 　　现在这里有一个例子　　数据：工资和年龄（2个特征）　　目标：预测银行 ...

1、从几何的角度去理解PCA降维 　　以平面坐标系为例，点的坐标是怎么来的？ 　　　　 　　　　　　　　图1 ...