伯努利分布和高斯分布下的最大似然估計、交叉熵


伯努利分布是一個離散型機率分布。試驗成功,隨機變量取值為1;試驗失敗,隨機變量取值為0。成功機率為p,失敗機率為q =1-p,N次試驗后,成功期望為N*p,方差為N*p*(1-p) ,所以伯努利分布又稱兩點分布。

觀察到的數據為D1,D2,D3,...,DN,極大似然的目標:

聯合分布難計算,我們因此引入一個假設,獨立同分布(i.i.d.),目標公式改變為:

將函數取對數,函數的極值點不會改變,公式變為:

伯努利分布下隨機變量的最大似然計算方法,P(X=1)=p,P(X=0)=1-p:

對p求導可得:

令導數為0,得:

高斯分布下最大似然估計法:

對期望求導:

令導數為0:

對方差求導,令導數為0:

 

 

 

 

 

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM