通过贝叶斯等方式实现分类器时，需要首先得到先验概率以及类条件概率密度。但在实际的应用中，先验概率与类条件概率密度并不能直接获得，它们都需要通过估计的方式来求得一个近似解。若先验概率的分布形式已知（或可以假设为某个分布），但分布的参数未知，则可以通过极大似然或者贝叶斯来获得对于参数 ...

积分符号只有下限是表示该变量的空间范围 记作x~f(x) 贝叶斯公式 乘法公式 AB同时发生的概率是 A发生的概率 乘 在A条件下B发生的概率。 反之，也是 B发生的概率 乘 在B发生条件下A发生的概率。 三个球：红，红，蓝 ​ 1 ， 2 ，1 摸到既是1又是红的球 ...

　　　　 　　极大似然估计提供了一种给定观察数据来评估模型参数的方法，即：“模型已定，参数未知”。即在频率学派中，参数固定了，预测 值也就固定了。最大后验概率是贝叶斯学派在完全贝叶斯不一定可行后采用的一种近似手。如果数据量足够大，最大后验概率和最大似 然估计趋向于一致，如果数据为0,最大后验 ...

个人理解： 最大似然估计：只是对似然的处理，概率乘积转概率密度乘积，取对数转加，求导得估计值； 贝叶斯估计：由先验乘似然得后验， 这个就是贝叶斯学习过程：在前一个训练集合的后验概率上，乘以新的测试样本点的似然估计，得到新的集合的后验概率，这样，相当于成为了的先验概率分布： ； 原文 ...

，例如极大似然估计、最大后验估计、贝叶斯推断、最大熵估计，等等。虽然方法各不相同，但实际上背后的道理大体一样。 ...

1. 统计决策的基本概念 　　20世纪40年代，Wald提出了把统计推断问题看成是人与自然的一种博弈过程，由此建立了统计决策理论。 统计决策问题的三个要素 　　在前几章讲的统计问题，都可以归结为一个统计决策问题，也就是建立所谓的统计决策函数，统计决策问题由三个因素组成： 样本空间和分布族 ...

其实这是我之前最想第一篇来写的随笔了，今天就先把这一部分写一写吧。 1.问题 　　一个医疗诊断问题有两个可选的假设：病人有癌症、病人无癌症可用数据来自化验结果：阴性和阳性。有先验知识：在所有人口中 ...

问题：这些估计都是干嘛用的？它们存在的意义的是什么？ 有一个受损的骰子，看起来它和正常的骰子一样，但实际上因为受损导致各个结果出现的概率不再是均匀的 \(\frac{1}{6}\) 了。我们想知道这个受损的骰子各个结果出现的实际概率。准确的实际概率我们可能永远无法精确的表示出 ...