注：本文是对《统计学习方法》EM算法的一个简单总结。 1. 什么是EM算法？ 引用书上的话： 概率模型有时既含有观测变量，又含有隐变量或者潜在变量。如果概率模型的变量都是观测变量，可以直接使用极大似然估计法或者贝叶斯的方法进行估计模型参数，但是当模型含有隐藏变量时，就不能简单使用 ...

\(1,1,0,1,0,0,1,0,1,1\)。假设只能观测到掷硬币的结果，不知道掷硬币的过程，求解三枚硬币出现正面 ...

三硬币模型 python实现 ...

斯坦福大学机器学习，EM算法求解高斯混合模型。一种高斯混合模型算法的改进方法---将聚类算法与传统高斯混合模型结合起来的建模方法, 并同时提出的运用距离加权的矢量量化方法获取初始值，并采用衡量相似度的方法来融合高斯分量。从对比结果可以看出，基于聚类的高斯混合模型的说话人识别相对于传统的高斯混合模型 ...

文本主题模型之LDA(一) LDA基础 　　　　文本主题模型之LDA(二) LDA求解之Gibbs采样算法 　　　　文本主题模型之LDA(三) LDA求解之变分推断EM算法 　　　　本文是LDA主题模型的第三篇，读这一篇之前建议先读文本主题模型之LDA(一) LDA ...

　　　　隐马尔科夫模型HMM（一）HMM模型 　　　　隐马尔科夫模型HMM（二）前向后向算法评估观察序列概率 　　　　隐马尔科夫模型HMM（三）鲍姆-韦尔奇算法求解HMM参数 　　　　隐马尔科夫模型HMM（四）维特比算法解码隐藏状态序列 　　　　在本篇我们会讨论HMM模型参数求解的问题 ...

对于高斯混合模型是干什么的呢？它解决什么样的问题呢？它常用在非监督学习中，意思就是我们的训练样本集合只有数据，没有标签。 它用来解决这样的问题：我们有一堆的训练样本，这些样本可以一共分为K类，用z(i)表示。，但是具体样本属于哪类我们并不知道，现在我们需要建立一个模型来描述这个训练样本的分布 ...

一、EM算法概述 EM算法（Expectation Maximization Algorithm，期望极大算法）是一种迭代算法，用于求解含有隐变量的概率模型参数的极大似然估计（MLE）或极大后验概率估计（MAP）。EM算法是一种比较通用的参数估计算法，被广泛用于朴素贝叶斯、GMM（高斯混合模型 ...