概率圖：高斯混合模型（GMM）

高斯混合模型（Gaussian Mixture model）

                                                               來源：B站up主：shuhuai008，板書

問題：“高斯”？，“混合”？

可從兩個角度理解

一、從幾何角度看：高斯混合模型就是若干個高斯模型的“加權平均”。

                                           

                                                          混合高斯分布的公式

此處的x（小寫）可以指代任意一個樣本xi，利用公式（3）可以求解出xi的概率密度函數。

二、從“生成”/“混合”的角度看【個人理解：“混合”體現在高斯分布的疊加，也體現在“隱變量”和觀測變量的引入】

                     GMM模型的概率圖表示，及相關概念示意圖

    z是“隱變量”，x是觀測變量，由隱變量生成觀測變量的過程就是混合高斯模型的生成過程。x在概率圖中用陰影表示可觀測。N表示有N個樣本{x1,x2...xN}，對應的也就有N個隱變量{z1,z2,...zN}。z1表示第一個樣本的隱變量，z1是一個離散的隨機變量，z1的概率密度函數如下所示。

z1中，p(c1)=p₁，p(c2)=p₂,...p(ck)=p_k；所以將pz1表示成p={p₁,p₂,...p_k}，找出pz1中最大的概率，假如max{p₁,p₂,...p_k}=p₄ ，那么z1=c4 ，表示z1屬於第4個高斯分布的概率最大=>x1服從於第四個高斯分布，寫作x1~N（u4,Σ4）。其實z1就相當於一個指示變量。其中c1,c2,...ck分別是各個高斯分布的中心點（c1..ck和x1,...xN的向量維度相同，此處可類比聚類算法中的聚類中心）。

離散隨機變量Z理解：

“離散”指的是z1的值域是離散的數值{c1,c2...ck}，只能從這幾個中選，比較形象的說就是z1可以在y軸方向上一個網格或多個網格的”跳動“。

“隨機”指的是z1取c1，c2,...ck等數值的概率是確定的，但是在某一個樣本的觀測中具體取哪個c是隨機的。【個人理解】

 

觀測變量x理解：

觀測變量x可以是連續的，也可以是離散的,x服從於某個特定的高斯分布。【具體服從於哪個見上文】

 

驗證兩個角度求解p(xi)概率是否“殊途同歸”

1.幾何角度：

 2.生成角度：

 

“極大似然”法嘗試求解模型參數（解析法）：【因為行不通，所以引出用數值解法：EM法】

                                                        來源：B站up主：shuhuai008，板書

其中，X（大寫）包括{x1,x2,...xN}所有樣本的觀測變量，Z代表{z1,z2,...zN}所有樣本的隱變量；

θ={p1,p2,...pk, u1,u2,...uk,Σ1,Σ2,...,Σk} 表示的是一個樣本xi(小寫)的模型參數，θ_hat指的是所有樣本的參數{θ1,θ2，...，θN}。

 

備注：

GMM和Naive Bayes 的樣本均滿足獨立同分布假設，即所有樣本{x1,x2,...xN}兩兩獨立同分布（iid）

 

參考資料：

1.https://www.bilibili.com/video/BV13b411w7Xj?p=2，作者：shuhuai008