提升方法 简述:提升方法(boosting)是一种常用的统计学习方法,应用广泛且有效。在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能。 本章 (1)介绍boosting方法的思路和代表性的boosting算法AdaBoost (2)通过训练 ...
逻辑斯谛回归 logistic regression 是统计学习中的经典分类方法。最大熵模型是概率模型学习的一个准则,将其推广到分类问题得到最大熵模型 maximum entropy model 。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 逻辑斯谛回归 逻辑斯谛分布 :设 X 是连续随机变量, X 服从逻辑斯谛分布,则具有以下分布函数和密度函数。其中 mu 为位置参数, gamma gt ...
2019-06-05 15:39 0 587 推荐指数:
提升方法 简述:提升方法(boosting)是一种常用的统计学习方法,应用广泛且有效。在分类问题中,它通过改变训练样本的权重,学习多个分类器,并将这些分类器进行线性组合,提高分类的性能。 本章 (1)介绍boosting方法的思路和代表性的boosting算法AdaBoost (2)通过训练 ...
KNN算法 基本模型:给定一个训练数据集,对新的输入实例,在训练数据集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类,就把输入实例分为这个类。 KNN没有显式的学习过程。 KNN使用的模型实际上对应于特征空间的划分。特征空间中,对每个训练实例点\(x_i\),距离该点比其它点更近 ...
10种统计学习方法特点的概括总结 本书共介绍了10种主要的统计学习方法:感知机,KNN,朴素贝叶斯,决策树,逻辑斯谛回归与最大熵模型,SVM,提升方法,EM算法,隐马尔可夫模型,条件随机场(CRF)。 适用问题 感知机,KNN,朴素贝叶斯,决策树,逻辑斯谛回归与最大熵模型,SVM,提升 ...
写在前面 本系列笔记主要记录《统计学习方法》中7种常用的机器学习分类算法,包括感知机,KNN,朴素贝叶斯,决策树,逻辑斯谛回归与最大熵模型,SVM,boosting。 课本还涉及到3种算法是关于概率模型估计和标注问题的,暂未列入学习计划,所以笔记中没有涉及,包括EM算法,隐马尔可夫模型,条件 ...
一、贝叶斯分类 是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称贝叶斯分类。而贝叶斯分类中最简单的一种:朴素贝叶斯分类。 二、贝叶斯定理: 已知某条件概率,如何得到两个事件交换后的概率,也就是在已知P(A|B)的情况下如何求得P(B ...
统计学习方法由三个要素组成:方法=模型+策略+算法 模型是针对具体的问题做的假设空间,是学习算法要求解的参数空间。例如模型可以是线性函数等。 策略是学习算法学习的目标,不同的问题可以有不同的学习目标,例如经验风险最小化或者结构风险最小化。 经验风险最小化中常见的损失函数有:0-1损失函数、残 ...
转自:https://github.com/SmirkCao/Lihang 最近又捡起了李航老师的《统计学习方法》开始啃,之前因为干货太多一看就困索性放弃(捂脸~),突然在知乎上看到有大神的总结,希望大神能带我飞哈哈。 [TOC] GitHub的markdown公式支持一般, 推荐使用 ...
第一章 统计学习方法概论 统计学习的主要特点是: (1)统计学习以计算机及网络为平台,是建立在计 算机及网络之上的; (2)统计学习以数据为研究对象,是数据驱动的学科; (3)统 ...