目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(1) : K-means算法 1. 简介 K-means算法是一类无 ...
回顾 前几篇对 k means 有过理解和写了一版伪代码, 因为思想比较非常朴素, 就是初始化几个中心点, 然后通过计算距离的方式, 物以类聚 , 不断迭代中心点, 最后收敛, 中心点不变化 就搞定了, 代码也容易实现, 算法也基本不涉及数学, 感觉就是通用的全民入门算法. 跟 KNN 这种hello world 级别是一个等级, 简单易懂, 实用性高, 易实现. 而相对 EM 算法则有些难明白一 ...
2019-12-21 22:18 0 953 推荐指数:
目录 EM算法(1):K-means 算法 EM算法(2):GMM训练算法 EM算法(3):EM算法运用 EM算法(4):EM算法证明 EM算法(1) : K-means算法 1. 简介 K-means算法是一类无 ...
K-means聚类算法 K-means聚类算法也是聚类算法中最简单的一种了,但是里面包含的思想却不一般。 聚类属于无监督学习。在聚类问题中,给我们的训练样本是,每个,没有了y。 K-means算法是将样本聚类成k个簇(cluster),具体算法描述如下: 1、 随机选取k个聚类质心点 ...
内容来自PRML k-means可以看成是两阶段的: 第一阶段,确定每一个样本所属的聚类,在这个过程中,聚类的中心保持不变 第二阶段,确定聚类中心,在这个过程中,每一个样本所属的类别保持不变 与EM之间的关系: 第一阶段对应的是EM的E步,而第二阶段对应 ...
1.EM算法 GMM算法是EM算法族的一个具体例子。 EM算法解决的问题是:要对数据进行聚类,假定数据服从杂合的几个概率分布,分布的具体参数未知,涉及到的随机变量有两组,其中一组可观测另一组不可观测。现在要用最大似然估计得到各分布参数。 如果涉及的两组随机变量都是可观测的,问题就立即可以解决 ...
摘要: 1.算法概述 2.算法推导 3.算法特性及优缺点 4.注意事项 5.实现和具体例子 6.适用场合 内容: 1.算法概述 k-means算法是一种得到最广泛使用的聚类算法。 它是将各个聚类子集内的所有数据样本的均值作为该聚类的代表点 ...
初始目的 将样本分成K个类,其实说白了就是求一个样本例的隐含类别y,然后利用隐含类别将x归类。由于我们事先不知道类别y,那么我们首先可以对每个样例假定一个y吧,但是怎么知道假定的对不对呢?怎样评价假定的好不好呢? 我们使用样本的极大似然估计来度量,这里就是x和y的联合分布P(x,y ...
EM算法及其应用(一) EM算法及其应用(二): K-means 与 高斯混合模型 上一篇阐述了EM算法的主要原理,这一篇来看其两大应用 —— K-means 与 高斯混合模型,主要由EM算法的观点出发。 K-means K-means的目标是将样本集划分为K ...
简单对比一下这两者的区别。两者的主要区别主要在质心的选择中,k-means是样本点均值,k-medoids则是从样本点中选取。 首先给出两者的算法实现步骤: K-means 1、随机选取K个质心的值 2、计算各个点到质心的距离 3、将点的类划分为离他最近的质心,形成K个cluster ...