EM算法的基本原理和推導


參考: 

從最大似然到EM算法淺解

(EM算法)The EM Algorithm

EM算法的九層境界:Hinton和Jordan理解的EM算法

 

在EM算法的證明中,其實比較好理解,總結如下:

從最大似然估計出發 ====>  將隱變量暴露出來,寫出累加/積分的 形式 ===> 引入Q(z),表示隱變量z的概率密度函數

==> 對於log函數,利用 Jensen不等式的變形:  f(E(x)  >= E(f(x)),得到最大似然函數的下界 

===> 對於log函數的Jenson不等式而言,只有當 X的變量取常量時,則可以不等式才能取到等號;

則得到等式;

以上的過程如下:

具體的計算過程如下:

固定好了Q(z),再去調整參數 Θ ,使得下界最大,如下圖所示:

收斂性的證明:見參考一或吳恩達的課程

--------------------

--------------------


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM