文章目录 1. 前言 2.基础数学知识 2.1.凸函数 2.2.Jensen不等式 3.EM算法所解决问题的例子 4.EM算法 ...

一、前言 这是本人写的第一篇博客，是学习李航老师的《统计学习方法》书以及斯坦福机器学习课Andrew Ng的EM算法课后，对EM算法学习的介绍性笔记，如有写得不恰当或错误的地方，请指出，并多多包涵，谢谢。另外本人数学功底不是很好，有些数学公式我会说明的仔细点的，如果数学基础好，可直接 ...

EM算法简述 EM算法是一种迭代算法，主要用于含有隐变量的概率模型参数的极大似然估计，或极大后验概率估计。EM算法的每次迭代由两步完成： E步，求期望 M步，求极大。 EM算法的引入 如果概率模型的变量都是观测变量，那么给定数据，可以直接用极大似然估计法或贝叶斯估计法估计 ...

1 极大似然估计 假设有如图1的X所示的抽取的n个学生某门课程的成绩，又知学生的成绩符合高斯分布f(x|μ,σ2)，求学生的成绩最符合哪种高斯分布，即μ和σ2最优值是什么？ 图1 学生成 ...

原创博客，转载请注明出处 Leavingseason http://www.cnblogs.com/sylvanas2012/p/5053798.html EM框架是一种求解最大似然概率估计的方法。往往用在存在隐藏变量的问题上。我这里特意用"框架"来称呼它，是因为EM算法不像一些常见 ...

1. 什么是EM算法 　　最大期望算法（Expectation-maximization algorithm，又译为期望最大化算法），是在概率模型中寻找参数最大似然估计或者最大后验估计的算法，其中概率模型依赖于无法观测的隐性变量。 　　最大期望算法经过两个步骤交替进行计算， 　　第一步是计算 ...

em算法 em算法指的是最大期望算法（Expectation Maximization Algorithm，又译期望最大化算法），是一种 迭代算法，用于含有隐变量（latent variable）的概率参数模型的 最大似然估计或极大后验概率估计 ...

一、最大似然估计与最大后验概率 1、概率与统计 概率与统计是两个不同的概念。 概率是指：模型参数已知，X未知，p(x1) ... p(xn) 都是对应的xi的概率 统计是指：模型参数未知，X已知，根据观测的现象，求模型的参数 2、似然函数与概率函数 似然跟概率是同义词，所以似 ...