统计学习方法（四）——朴素贝叶斯法
类标记为，是和的联合概率分布，数据集 由独立同分布产生。 朴素贝叶斯法就是通过训练集来学习 ...
原文：李航统计学习方法——算法3朴素贝叶斯法
一 贝叶斯分类 是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称贝叶斯分类。而贝叶斯分类中最简单的一种：朴素贝叶斯分类。 二 贝叶斯定理： 已知某条件概率，如何得到两个事件交换后的概率，也就是在已知P A B 的情况下如何求得P B A 。 三 朴素贝叶斯分类思想： 给出待分类项，求解在此项出现的条件下其他各个类别的出现的概率，哪个概率较大就认为待分类项属于哪个类别。 四 朴素贝叶斯法 ...
2017-08-26 16:52 0 3201 推荐指数：
相关推荐
统计学习方法——朴素贝叶斯法、先验概率、后验概率
朴素贝叶斯法，就是使用贝叶斯公式的学习方法，朴素就是它假设输入变量（向量）的各个分量之间是相互独立的。所以对于分量之间不独立的分布，如果使用它学习和预测效果就不会很好。 简化策略 它是目标是通过训练数据集学习联合概率分布$P(X, Y)$用来预测。书上说，具体是先学习到先验概率 ...
《统计学习方法》——朴素贝叶斯代码实现
朴素贝叶斯分类原理 对于给定的训练数据集，首先基于特征条件独立假设学习输入/输出的联合概率分布；然后基于此模型，对给定的输入\(x\),利用贝叶斯定理求出后验概率最大的输出\(y\)。 特征独立性假设：在利用贝叶斯定理进行预测时，我们需要求解条件概率\(P(x|y_k)=P(x_1,x_2 ...
统计学习方法 4 贝叶斯判别
简述 利用观测到的x,利用先验概率和类条件概率，决定x属于哪一类 后验概率无法直接获得，因此我们需要找到方法来计算它，而解决方法就是引入贝叶斯公式。 贝叶斯理论 可以看出，贝叶斯公式是“由果溯因”的思想，当知道某件事的结果后，由结果推断这件事是由各个原因导致的概率 ...
李航-统计学习方法-笔记-6：逻辑斯谛回归与最大熵模型
逻辑斯谛回归（logistic regression）是统计学习中的经典分类方法。最大熵模型是概率模型学习的一个准则，将其推广到分类问题得到最大熵模型（maximum entropy model）。逻辑斯谛回归模型与最大熵模型都属于对数线性模型。 逻辑斯谛回归 逻辑斯谛分布 ：设\(X ...
李航-统计学习方法-笔记-8：提升方法
提升方法 简述：提升方法（boosting）是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。 本章 （1）介绍boosting方法的思路和代表性的boosting算法AdaBoost （2）通过训练 ...
李航-统计学习方法-笔记-3：KNN
KNN算法 基本模型：给定一个训练数据集，对新的输入实例，在训练数据集中找到与该实例最邻近的k个实例。这k个实例的多数属于某个类，就把输入实例分为这个类。 KNN没有显式的学习过程。 KNN使用的模型实际上对应于特征空间的划分。特征空间中，对每个训练实例点\(x_i\)，距离该点比其它点更近 ...
统计学习方法 李航---第3章 k近邻法
第3章 k近邻法 k近邻法(k-nearest neighbor, k-NN)是一种基本分类与回归方法。 k近邻法假设给定一个训练数据集，其 中的实例类别己定。分类时，对新的实例，根据其k个最近邻的训练实例的类别 通过多数表决等方式进行预测。k近邻 法实际上利用训练数据集 ...