EM算法收斂性證明：
來源：B站up:shuhuai008,板書
EM（expectation maximization algorithm）:期望最大算法，分為“期望”和“最大兩部分，分別用“E-step”和“M”step解決。
一、收斂性證明：
其中，Q(t)是Q(θ(t)，θ(t))的簡略表達； Q(t+1)是Q(θ(t)，θ(t+1))的簡略表達；H(t)，H(t+1)同理，Q(θ(t)，θ(t+1))這樣的表達更嚴謹，因為Q是θ(t)和θ的函數，更准確的說是θ的函數，因為在迭代過程中θ(t)是已知量。但是為了更清晰地表達迭代過程，所以表達為Q(θ(t)，θ)。
推導過程中需要注意的點：
①P(Z|X,θ)是后驗概率，在EM算法中假設后驗是能直接求出的，但是實際問題中不一定能夠得到，所以提出了EM的各個變種算法。
②注意Q(θ(t)，θ(t+1))中，θ(t+1))代入聯合概率P(X,Z|θ(t+1))；θ(t)代入條件P(Z|X,θ(t))
③（如下圖）P(X,Z|θ)是X和Z的聯合概率。為什么會有聯合概率的引入？這個涉及到EM算法求解混合模型的思想是：求解模型參數θ問題=>轉換成求解最大似然P(X|θ)，簡單模型可以直接求導得到解析解，但如果問題太過復雜，無法得到解析解，只能采用數值解法。數值解法的思想還是求解P(X|θ)，只不過復雜問題的P(X|θ)不能直接得出，所以引入了隱變量Z，構造出了混合模型（也叫生成模型）GMM,HMM等，隱變量的出現將概率P(X|θ)進行分解，使得P(X|θ)=P(X,Z|θ)/P(Z|X,θ)，從而將問題分解成更小的單位進行求解。
參考資料：
1.https://www.bilibili.com/video/BV1BW41117xo?p=9 ，作者：shuhuai008