最近學習基礎算法《統計學習方法》，看到利用EM算法估計高斯混合模型(GMM)的時候，發現利用貝葉斯的來理解高斯混合模型的應用其實非常合適。
首先，假設對於貝葉斯比較熟悉，對高斯分布也熟悉。本文將GMM用於聚類來舉例。
除了簡單的高斯分布，理論上通過組合多個不同的高斯分布可以構成任意復雜的分布函數。如下圖所示：
在最大似然，貝葉斯方法與朴素貝葉斯分類中，2.1中提到高斯概率密度用來計算連續變量情況下的朴素貝葉斯概率。該情況下的高斯分布是訓練已知，然后對於輸入變量求取其概率密度，結合類別的先驗概率從而進一步實現分類。
而利用高斯混合模型進行聚類，本質上可以這么理解：數據的分布由若干高斯分布組合而成，需要通過傳入的無標記數據，求解出各個高斯模型的參數和各個模型的先驗概率！不同於一般利用最大似然估計參數的情況在於。由於傳入的數據無標記，也就是說缺少了觀測數據的類別這個隱藏信息，所以這個隱藏信息的概率分布也成了估計內容之一，從而無法通過求偏導進行梯度下降來求解，於是利用了EM來進行（EM算法就是利用最大化似然函數的下界來迭代求解）。
不同於K-Means聚類算法直接把每一個數據點的歸類，高斯混合模型求解出的的分布密度，然后一般歸類為最大后驗概率一類。
參考：
李航《統計學習方法》