1. EM算法-數學基礎 2. EM算法-原理詳解 3. EM算法-高斯混合模型GMM 4. EM算法-高斯混合模型GMM詳細代碼實現 5. EM算法-高斯混合模型GMM+Lasso 1. 前言 EM的前3篇博文分別從數學基礎、EM通用算法原理、EM的高斯混合模型的角度介紹了EM算法 ...

1. EM算法-數學基礎 2. EM算法-原理詳解 3. EM算法-高斯混合模型GMM 4. EM算法-高斯混合模型GMM詳細代碼實現 5. EM算法-高斯混合模型GMM+Lasso 1. 前言 GMM(Gaussian mixture model) 混合高斯模型在機器學習、計算機視覺 ...

EM算法 EM算法主要用於求概率密度函數參數的最大似然估計，將問題$\arg \max _{\theta_{1}} \sum_{i=1}^{n} \ln p\left(x_{i} | \theta_{1}\right)$轉換為更加易於計算的$\sum_{i=1}^{n} \ln p\left ...

1. EM算法-數學基礎 2. EM算法-原理詳解 3. EM算法-高斯混合模型GMM 4. EM算法-GMM代碼實現 5. EM算法-高斯混合模型+Lasso 1. 前言 前面幾篇博文對EM算法和GMM模型進行了介紹，本文我們通過對GMM增加一個懲罰項。 2. 不帶懲罰項的GMM ...

1. 前言 我們之前有介紹過4. EM算法-高斯混合模型GMM詳細代碼實現，在那片博文里面把GMM說涉及到的過程，可能會遇到的問題，基本講了。今天我們升級下，主要一起解析下EM算法中GMM（搞事混合模型）帶懲罰項的詳細代碼實現。 2. 原理 由於我們的極大似然公式加上了懲罰項，所以整個推算 ...

注：本文是對《統計學習方法》EM算法的一個簡單總結。 1. 什么是EM算法？ 引用書上的話： 概率模型有時既含有觀測變量，又含有隱變量或者潛在變量。如果概率模型的變量都是觀測變量，可以直接使用極大似然估計法或者貝葉斯的方法進行估計模型參數，但是當模型含有隱藏變量時，就不能簡單使用 ...

對於高斯混合模型是干什么的呢？它解決什么樣的問題呢？它常用在非監督學習中，意思就是我們的訓練樣本集合只有數據，沒有標簽。 它用來解決這樣的問題：我們有一堆的訓練樣本，這些樣本可以一共分為K類，用z(i)表示。，但是具體樣本屬於哪類我們並不知道，現在我們需要建立一個模型來描述這個訓練樣本的分布 ...

1. EM算法的基本思想 我們在應用中所面對的數據有時是缺損的/觀測不完全的[1][2]。我們將數據分為： 可觀測數據，用\(Y\)表示； 缺失數據，用\(Z\)表示; 完全數據，用\(X=(Y, Z)\)表示。 我們嘗試直接對可觀測數據做極大似然估計： \[L ...