參考:
從最大似然到EM算法淺解
EM算法的九層境界:Hinton和Jordan理解的EM算法
在EM算法的證明中,其實比較好理解,總結如下:
從最大似然估計出發 ====> 將隱變量暴露出來,寫出累加/積分的 形式 ===> 引入Q(z),表示隱變量z的概率密度函數
==> 對於log函數,利用 Jensen不等式的變形: f(E(x) >= E(f(x)),得到最大似然函數的下界
===> 對於log函數的Jenson不等式而言,只有當 X的變量取常量時,則可以不等式才能取到等號;
則得到等式;
以上的過程如下:





具體的計算過程如下:


固定好了Q(z),再去調整參數 Θ ,使得下界最大,如下圖所示:


收斂性的證明:見參考一或吳恩達的課程


--------------------
--------------------
