问题原型 假设有三枚硬币，记为A，B，C，这三枚硬币出现正面的概率分别是\(\pi\)，\(p\)和\(q\)。在掷硬币实验过程中，先掷硬币A，如果其结果为正面，则选择硬币B，反面则选择C；然后掷选中的硬币，记录其出现的结果。独立地重复\(n\)次实验，我们得到一个观测结果，比如说 ...

三硬币模型 为什么需要EM算法 数理统计的基本问题就是根据样本所提供的信息，对总体的分布 ...

对于高斯混合模型是干什么的呢？它解决什么样的问题呢？它常用在非监督学习中，意思就是我们的训练样本集合只有数据，没有标签。 它用来解决这样的问题：我们有一堆的训练样本，这些样本可以一共分为K类，用z(i)表示。，但是具体样本属于哪类我们并不知道，现在我们需要建立一个模型来描述这个训练样本的分布 ...

一、EM算法概述 EM算法（Expectation Maximization Algorithm，期望极大算法）是一种迭代算法，用于求解含有隐变量的概率模型参数的极大似然估计（MLE）或极大后验概率估计（MAP）。EM算法是一种比较通用的参数估计算法，被广泛用于朴素贝叶斯、GMM（高斯混合模型 ...

一、高斯混合模型概述 1、公式 高斯混合模型是指具有如下形式的概率分布模型： 其中，αk≥0，且∑αk=1，是每一个高斯分布的权重。Ø(y|θk)是第k个高斯分布的概率密度，被称为第k个分模型，参数为θk=(μk, αk2)，概率密度的表达式为： 高斯混合模型就是K个高斯分布 ...

1. EM算法-数学基础 2. EM算法-原理详解 3. EM算法-高斯混合模型GMM 4. EM算法-高斯混合模型GMM详细代码实现 5. EM算法-高斯混合模型GMM+Lasso 1. 前言 GMM(Gaussian mixture model) 混合高斯模型在机器学习、计算机视觉 ...

1 EM算法的引入 1.1 EM算法 1.2 EM算法的导出 2 EM算法的收敛性 3EM算法在高斯混合模型的应用 3.1 高斯混合模型Gaussian misture model 3.2 GMM中参数估计的EM算法 4 EM推广 4.1 F函数 ...

混合高斯模型（Mixtures of Gaussians）和EM算法 主要内容： 1、 概率论预备知识 2、 单高斯模型 3、 混合高斯模型 4、 EM算法 5、 K-means聚类算法 一、概率论预备知识 1、 数学期望/均值、方差/标准差 设离散型随机变量X ...