高斯分布和二項分布屬於指數分布族的證明

1、什么是指數分布族

1.1 基本描述

        指數型分布是一類重要的分布族，在統計推斷中，指數型分布族占有重要的地位，在各領域應用廣泛。許多的統計分布都是指數型分布，彼此之間具有一定的共性，在研究其統計性質與分布特征時，利用指數型分布族的特征，可以將這一族分布的特征分別表示出。在廣義線性模型的統計推斷中，常假設樣本服從指數型分布。

1.2 定義

       指數分布族可以寫成如下的形式：

                                                     

        在這里，η叫做分布的自然參數，a(η)叫做累積量母函數（又稱log partition function）。exp(-α(η))這個量是分布p(y;η)的歸一化常數，用來確保分布p(y;η)對y的積分為1。T(y)稱為充分統計量（sufficient statistic）,對於我們考慮的分布，一般認為T(y)=y。

一組確定的T，a和b定義了這樣一個以η為參數的分布族。對於不同的η，我們可以得到指數分布族中不同的分布。

1.3 數學特征

        對於單參數指數型分布的隨機變量，記 ，分別表示關於η的函數a對η求一二階導數，則有以下結論：

1. 指數型分布隨機變量的期望
2. 指數型分布隨機變量的方差

2、高斯分布屬於指數分布族的證明

        對於高斯分布，當方差已知時，（方差對模型的參數沒有影響，所以我們可以任意地選一個方差），在這里我們令 ，則其分布可以表示為：

                                         

        為了將其向指數分布族靠攏，我們進行如下表示：

                                         

        這顯示了高斯分布可以被寫成是指數分布族的形式，所以高斯分布屬於指數分布族。

        進一步地，我們用指數分布族的性質去驗證一下，有：

                                        

                                          

        剛好是高斯分布的期望和方差，所以驗證成功。

 

 

3、二項分布屬於指數分布族的證明

        對於二項分布（伯努利分布），每一個取不同均值的參數Φ，就會唯一確定一個y屬於{0,1}之間的分布。所以可以表示為

                                   

        故二項分布的分布函數只以Φ作為參數，統一這樣表示二項分布：

                                               

        這樣，自然參數為： ，翻轉一下，有：

        為了進一步將二項分布向指數分布族靠攏，我們可以進行如下表示：

                                                 

        這顯示了二項分布可以被寫成是指數分布族的形式，所以二項分布屬於指數分布族。

 

        進一步地，我們用指數分布族的性質去驗證一下，有：

                                       

                                       

        剛好是二項分布的期望與方差，故滿足性質。