似然估計中為什么要取對數以GMM為例


  1.往往假設特征之間獨立同分布,那么似然函數往往是連城形式,直接求騙到不好搞,根據log可以把連乘變為連加。

  2.另外概率值是小數,多個小數相乘容易趙成浮點數下溢,去log變為連加可以避免這個問題。

  若果原始似然函數中沒有連加和,那么去對術后沒有log(a+b)的形式,此時可以用GD,否則用EM,村塾個人理解。

以GMM來理解,包含log(a+b)往往是因為包含了因變量,GMM中隱變量就是每條記錄屬於的類別,如果知道了類別,那么權重為每類中的個數除以總的個數,均值為類中數據的加權平均,方差為數據減去均值開放。

  首先需要從GMM中取出一個數據,假設,pi,miu和sigam一直,那么該數據來自不同成分的概率為權重*高斯分布的歸一化,這是E步,然后pi(i)=各個數據點屬於i累的概率的平均值,u(i)=概率值乘以數值,sigima(i)=概率值乘以記錄減去miu(i)。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM