今天不太想学习，炒个冷饭，讲讲机器学习十大算法里有名的EM算法，文章里面有些个人理解，如有错漏，还请读者不吝赐教。 　　众所周知，极大似然估计是一种应用很广泛的参数估计方法。例如我手头有一些东北人的身高的数据，又知道身高的概率模型是高斯分布，那么利用极大化似然函数的方法可以估计出高斯分布 ...

最大期望算法 EM算法的正式提出来自美国数学家Arthur Dempster、Nan Laird和Donald Rubin，其在1977年发表的研究对先前出现的作为特例的EM算法进行了总结并给出了标准算法的计算步骤，EM算法也由此被称为Dempster-Laird-Rubin算法。1983年 ...

【机器学习】算法原理详细推导与实现(二):逻辑回归 在上一篇算法中，线性回归实际上是 连续型 的结果，即 \(y\in R\) ，而逻辑回归的 \(y\) 是离散型，只能取两个值 \(y\in \{0,1\}\)，这可以用来处理一些分类的问题。 logistic函数 我们可能会遇到一些分类 ...

【机器学习】算法原理详细推导与实现(一):线性回归 今天我们这里要讲第一个有监督学习算法，他可以用于一个回归任务，这个算法叫做 线性回归 房价预测 假设存在如下 m 组房价数据： 面积(m^2) 价格(万元) 82.35 ...

一、简介 EM 的英文是 Expectation Maximization，所以 EM 算法也叫最大期望算法。 我们先看一个简单的场景：假设你炒了一份菜，想要把它平均分到两个碟子里，该怎么分？ 很少有人用称对菜进行称重，再计算一半的分量进行平分。大部分人的方法是先分一部分到碟子 A 中 ...

上一篇开头说过1983年，美国数学家吴建福（C.F. Jeff Wu）给出了EM算法在指数族分布以外的收敛性证明。 EM算法的收敛性只要我们能够证明对数似然函数的值在迭代的过程中是增加的 即可: 证明: 一直我们的EM算法会极大化这个似然函数L, 问题得证. ...

极大似然估计 考虑一个高斯分布\(p(\mathbf{x}\mid{\theta})\)，其中\(\theta=(\mu,\Sigma)\)。样本集\(X=\{x_1,...,x_N\}\)中每个样 ...

我讲EM算法的大概流程主要三部分：需要的预备知识、EM算法详解和对EM算法的改进。 一、EM算法的预备知识 1、极大似然估计 （1）举例说明：经典问题——学生身高问题 　　我们需要调查我们学校的男生和女生的身高分布。 假设你在校园里随便找了100个男生和100个女生。他们共200个人。将他 ...