似然函數 常說的概率是指給定參數后，預測即將發生的事件的可能性。拿硬幣這個例子來說，我們已知一枚均勻硬幣的正反面概率分別是0.5，要預測拋兩次硬幣，硬幣都朝上的概率： H代表Head，表示頭朝上 p(HH | pH = 0.5) = 0.5*0.5 = 0.25. 這種寫法其實有點誤導 ...

介紹摘自李航《統計學習方法》 EM算法 EM算法是一種迭代算法，1977年由Dempster等人總結提出，用於含有隱變量（hidden variable）的概率模型參數的極大似然估計，或極大后驗概率估計。EM算法的每次迭代由兩步組成：E步，求期望（expectation）；M步，求 ...

當概率模型依賴於無法觀測的隱性變量時，使用普通的極大似然估計法無法估計出概率模型中參數。此時需要利用優化的極大似然估計：EM算法。 在這里我只是想要使用這個EM算法估計混合高斯模型中的參數。由於直觀原因，采用一維高斯分布。 一維高斯分布的概率密度函數表示為： 多個高斯分布疊加在一起形成 ...

對於高斯混合模型是干什么的呢？它解決什么樣的問題呢？它常用在非監督學習中，意思就是我們的訓練樣本集合只有數據，沒有標簽。 它用來解決這樣的問題：我們有一堆的訓練樣本，這些樣本可以一共分為K類，用z(i)表示。，但是具體樣本屬於哪類我們並不知道，現在我們需要建立一個模型來描述這個訓練樣本的分布 ...

title: 最大似然估計和EM算法 date: 2018-06-01 16:17:21 tags: [算法，機器學習] categories: 機器學習 mathjax: true 本文是對最大似然估計和EM算法做的一個總結。 一般來說，事件A發生的概率與某個未知參數\(\theta ...

一、最大似然估計與最大后驗概率 1、概率與統計 概率與統計是兩個不同的概念。 概率是指：模型參數已知，X未知，p(x1) ... p(xn) 都是對應的xi的概率 統計是指：模型參數未知，X已知，根據觀測的現象，求模型的參數 2、似然函數與概率函數 似然跟概率是同義詞，所以似 ...

介紹一個EM算法的應用例子：高斯混合模型參數估計。 高斯混合模型 高斯混合模型（Gaussian Mixture Model， GMM）是由多個高斯分布組成的模型，其密度函數為多個高斯密度函數的加權組合。 這里考慮一維的情況。假設樣本 x是從 K 個高斯分布中生成的。每個高斯 ...

分布的線性組合，它假設所有的樣本可以分為K類，每一類的樣本服從一個高斯分布，那么高斯混合模型的學習過程就是去估計 ...