指數分布族


指數族分布是一大類分布,基本形式為:

分布函數框架中的h(x),η(θ),T(x)和A(θ)並不是任意定義的,每一部分都有其特殊的意義。
θ是自然參數(natural parameter),通常是一個實數;
h(x)是底層觀測值(underlying measure);
T(x)是充分統計量(sufficient statistic);
A(θ)被稱為對數規則化(log normalizer)。
---------------------

T(x)是x的充分統計量(能為相應分布提供足夠信息的統計量)

為了滿足歸一化條件,有:

可以看出,當T(x)=x時,e^A(theta)是h(x)的拉普拉斯變換

 指數族分布的例子:

伯努利分布轉換成指數族分布形式:

 單變量高斯分布的:

多變量高斯分布的:

 

A(theta)的一階導:

A(theta)的二階導:

說明A(theta)是凸函數

 

計算log likehood,然后對theta求導,可得

而A的二次導時大於零的,所以A的一次導是增函數,上述方程最多只有一個解。

 

共軛先驗:

似然估計:

我們希望:

比如:

一些例子:


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM