指數族分布是一大類分布,基本形式為:
分布函數框架中的h(x),η(θ),T(x)和A(θ)並不是任意定義的,每一部分都有其特殊的意義。
θ是自然參數(natural parameter),通常是一個實數;
h(x)是底層觀測值(underlying measure);
T(x)是充分統計量(sufficient statistic);
A(θ)被稱為對數規則化(log normalizer)。
---------------------
T(x)是x的充分統計量(能為相應分布提供足夠信息的統計量)
為了滿足歸一化條件,有:
可以看出,當T(x)=x時,e^A(theta)是h(x)的拉普拉斯變換。
指數族分布的例子:
伯努利分布轉換成指數族分布形式:
單變量高斯分布的:
多變量高斯分布的:
A(theta)的一階導:
A(theta)的二階導:
說明A(theta)是凸函數
計算log likehood,然后對theta求導,可得
而A的二次導時大於零的,所以A的一次導是增函數,上述方程最多只有一個解。
共軛先驗:
似然估計:
我們希望:
比如:
一些例子: