一、简介 EM 的英文是 Expectation Maximization，所以 EM 算法也叫最大期望算法。 我们先看一个简单的场景：假设你炒了一份菜，想要把它平均分到两个碟子里，该怎么分？ 很少有人用称对菜进行称重，再计算一半的分量进行平分。大部分人的方法是先分一部分到碟子 A 中 ...

上一篇开头说过1983年，美国数学家吴建福（C.F. Jeff Wu）给出了EM算法在指数族分布以外的收敛性证明。 EM算法的收敛性只要我们能够证明对数似然函数的值在迭代的过程中是增加的 即可: 证明: 一直我们的EM算法会极大化这个似然函数L, 问题得证. ...

极大似然估计 考虑一个高斯分布\(p(\mathbf{x}\mid{\theta})\)，其中\(\theta=(\mu,\Sigma)\)。样本集\(X=\{x_1,...,x_N\}\)中每个样 ...

我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。 一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 　　我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他 ...

，是很多机器学习领域的基础，比如隐式马尔科夫算法（HMM），LDA主题模型的变分推断算法等等。本文对于EM算 ...

...

不同于其它的机器学习模型，EM算法是一种非监督的学习算法，它的输入数据事先不需要进行标注。相反，该算法从给定的样本集中，能计算出高斯混和参数的最大似然估计。也能得到每个样本对应的标注值，类似于kmeans聚类（输入样本数据，输出样本数据的标注）。实际上，高斯混和模型GMM和kmeans都是EM算法 ...

机器学习十大算法之一：EM算法。能评得上十大之一，让人听起来觉得挺NB的。什么是NB啊，我们一般说某个人很NB，是因为他能解决一些别人解决不了的问题。神为什么是神，因为神能做很多人做不了的事。那么EM算法能解决什么问题呢？或者说EM算法是因为什么而来到这个世界上，还吸引了那么多世人的目光 ...