其实这是我之前最想第一篇来写的随笔了，今天就先把这一部分写一写吧。 1.问题 　　一个医疗诊断问题有两个可选的假设：病人有癌症、病人无癌症可用数据来自化验结果：阴性和阳性。有先验知识：在所有人口中 ...

贝叶斯方法有着非常广泛的应用，但是初学者容易被里面的概率公式的给吓到，以至于望而却步。所以有大师专门写个tutorial，命名为“bayesian inference with tears”。 我本人也深受其苦，多次尝试学习而不得其门而入。终于有一天，一种醍醐灌顶的感觉在脑海中出现，思路一下子清晰 ...

通过贝叶斯等方式实现分类器时，需要首先得到先验概率以及类条件概率密度。但在实际的应用中，先验概率与类条件概率密度并不能直接获得，它们都需要通过估计的方式来求得一个近似解。若先验概率的分布形式已知（或可以假设为某个分布），但分布的参数未知，则可以通过极大似然或者贝叶斯来获得对于参数 ...

贝叶斯定理 贝叶斯定理是关于随机事件A和B的条件概率和边缘概率的一则定理。 在参数估计中可以写成下面这样： 这个公式也称为逆概率公式，可以将后验概率转化为基于似然函数和先验概率的计算表达式，即 在贝叶斯定理中，每个名词都有约定俗成的名称： P(A)是A的先验概率或边缘 ...

本文内容主要参考Steven M.Kay的《统计信号处理基础——估计与检测理论》，该书中译本分类为“国外电子与通信教材系列”，应该会有一定局限性。本文是我看过该书后的一点点总结。 1.从最大似然估计看经典估计理论 最大似然估计（Maximum Likelihood ...

1. 贝叶斯之参数估计 1. 贝叶斯之参数估计 1.1. 背景知识 1.2. 最大似然估计（MLE） 1.3. 最大后验概率估计（MAP） 1.4. 贝叶斯估计 1.5. 什么时候 MAP 估计与最大似然估计相等 1.1. ...

(学习这部分内容约需要1.9小时) 摘要 在贝叶斯框架中, 我们将统计模型的参数视为随机变量. 模型由变量值的先验分布以及决定参数如何影响观测数据的证据模型来指定. 当我们对观测数据进行条件化时, 我们得到参数的后验分布. 术语"贝叶斯参数估计"会让我们误以为对参数进行了估计, 实际上我们通常 ...

积分符号只有下限是表示该变量的空间范围 记作x~f(x) 贝叶斯公式 乘法公式 AB同时发生的概率是 A发生的概率 乘 在A条件下B发生的概率。 反之，也是 B发生的概率 乘 在B发生条件下A发生的概率。 三个球：红，红，蓝 ​ 1 ， 2 ，1 摸到既是1又是红的球 ...