指數族分布是一大類分布,基本形式為:
![]()
T(x)是x的充分統計量(能為相應分布提供足夠信息的統計量)

為了滿足歸一化條件,有:

可以看出,當T(x)=x時,e^A(theta)是h(x)的拉普拉斯變換。
指數族分布的例子:

伯努利分布轉換成指數族分布形式:

單變量高斯分布的:

多變量高斯分布的:

A(theta)的一階導:

A(theta)的二階導:

說明A(theta)是凸函數
計算log likehood,然后對theta求導,可得
![]()
而A的二次導時大於零的,所以A的一次導是增函數,上述方程最多只有一個解。
共軛先驗:
似然估計:

我們希望:![]()
比如:


一些例子:

