通过贝叶斯等方式实现分类器时，需要首先得到先验概率以及类条件概率密度。但在实际的应用中，先验概率与类条件概率密度并不能直接获得，它们都需要通过估计的方式来求得一个近似解。若先验概率的分布形式已知（或可以假设为某个分布），但分布的参数未知，则可以通过极大似然或者贝叶斯来获得对于参数 ...

联合概率的乘法公式： （如果随机变量是独立的，则） 由乘法公式可得条件概率公式：， ， 全概率公式：，其中 （，则，则可轻易推导出上式） 贝叶斯公式： 又名后验概率公式、逆概率公式：后验概率＝似然函数×先验概率/证据因子。解释如下，假设 ...

个人理解： 最大似然估计：只是对似然的处理，概率乘积转概率密度乘积，取对数转加，求导得估计值； 贝叶斯估计：由先验乘似然得后验， 这个就是贝叶斯学习过程：在前一个训练集合的后验概率上，乘以新的测试样本点的似然估计，得到新的集合的后验概率，这样，相当于成为了的先验概率分布： ； 原文 ...

极大似然估计和朴素贝叶斯都是运用概率的思想对参数进行估计去解决问题的，二者具有一定的相似性，在初学时经常会搞不清二者的，在这里首先对二者的分类原理进行介绍，然后比较一下二者的异同点。 1.极大似然估计（maximum likelihood estimation） 贝叶斯公式 事件 ...

其实这是我之前最想第一篇来写的随笔了，今天就先把这一部分写一写吧。 1.问题 　　一个医疗诊断问题有两个可选的假设：病人有癌症、病人无癌症可用数据来自化验结果：阴性和阳性。有先验知识：在所有人口中 ...

问题：这些估计都是干嘛用的？它们存在的意义的是什么？ 有一个受损的骰子，看起来它和正常的骰子一样，但实际上因为受损导致各个结果出现的概率不再是均匀的 \(\frac{1}{6}\) 了。我们想知道这个受损的骰子各个结果出现的实际概率。准确的实际概率我们可能永远无法精确的表示出 ...

贝叶斯估计、最大似然估计(MLE)、最大后验概率估计(MAP)这几个概念在机器学习和深度学习中经常碰到，读文章的时候还感觉挺明白，但独立思考时经常会傻傻分不清楚(😭)，因此希望通过本文对其进行总结。 2. 背景知识 注：由于概率 ...

1、贝叶斯公式 　　这三种方法都和贝叶斯公式有关，所以我们先来了解下贝叶斯公式： 　　　　 　　每一项的表示如下： 　　　　 　　posterior：通过样本X得到参数的概率，也就是后验概率。 　　likehood：通过参数得到样本X的概率，似然函数，通常就是我们的数据集的表现 ...