概率論12 矩與矩生成函數


  我們重新回到對單隨機變量分布的研究。描述量是從分布中提取出的一個數值,用來表示分布的某個特征。之前使用了兩個描述量,即期望和方差。在期望和方差之外,還有其它的描述量嗎?

斜度

  值得思考的是,期望和方差足以用來描述一個分布嗎?如果答案是可以,那么我們就沒有必要尋找其它描述量的。事實上,這兩個描述量並不足以完整的描述一個分布。

  我們來看兩個分布,一個是指數分布:  它的期望為E(x)=1,方差為D(x)=1。

  們用Y = 2-X來獲得一個新的隨機變量,及其分布:  該密度曲線與原來的密度曲線關於直線X=1對稱,與原來的分布有相同的期望值和方差.E(x)=1,方差為D(x)=1

我們繪制兩個分布的密度曲線,如下圖:


  可以看到,即使期望值和方差保持不變,兩個分布曲線明顯不同。第一條曲線下的面積偏向左,而第二條曲線則向右側傾斜。為了表達分布的這一特征,我們引入一個新的描述量,斜度(skewness)。它的定義如下:  上面兩個分布,第一條曲線向左偏斜,斜度分別為2。另一條曲線的斜度為-2。很明顯,斜度的不同可以帶來差別巨大的分布(即使期望和方差都相同)。

 

  觀察方差和斜度的定義,  都是X的函數的期望。它們的區別只在於函數的形式,即x-μ的乘方次數不同。方差為2次方,斜度為3次方。
  上面的描述量都可以歸為“矩”(moment)的一族描述量。類似於方差和斜度這樣的,它們都是x-μ乘方的期望,稱為中心矩(central moment)。 稱為k階中心矩,表示為,其中k = 2, 3, 4, ...

 

  還有另一種是原點矩(moment about the origin),是X乘方的期望。 稱為k階原點矩,表示為,其中k = 1, 2, 3, ...

  期望是一階原點矩:矩生成函數

  除了表示中心、離散程序、斜度這些特性外,更高階的矩可以描述分布的其它特性。矩統計中有重要的地位,比如參數估計的一種重要方法就是利用了矩。然而,根據矩的定義,我們需要對不同階的X冪求期望,這個過程包含復雜的積分過程,並不容易。矩同樣催生了矩生成函數(moment generating function),它是求解矩的一樣有力武器。

  在了解矩生成函數之前,先來回顧冪級數(power series)。冪級數是不同階數的乘方(比如  )的加權總和:ai是一個常數。

 

  冪級數是數學中的重要工具,它的美妙之處在於,解析函數都可以寫成冪級數的形式,比如三角函數sin(x)可以寫成:  將解析函數分解為冪級數的過程,就是泰勒分解(Taylor)。我們不再深入其具體過程。是很簡單的一種函數形式,它可以無限次求導,求導也很容易。這一特性讓冪級數變得很容易處理。將解析函數寫成冪級數,就起到化繁為簡的效果。(冪級數這一工具在數學上的用途極其廣泛,它用於數學分析、微分方程、復變函數…… )

  如果我們將冪級數的x看作隨機變量X,並求期望。根據期望可以線性相加的特征,有:  我們可以通過矩,來計算f(X)的期望。

 

  另一方面,我們可否通過解析函數來獲得矩呢?我們觀察下面一個指數函數,寫成冪級數的形式:  我們再次將x看作隨機變量X,並對兩側求期望,即  即使隨機變量的分布確定, 的值還是會隨t的變化而變化,因此這是一個關於t的函數。我們將它記為M(t),這就是矩生成函數(moment generating function)。對M(t)的級數形式求導,並讓t等於0,可以讓高階的t的乘方消失,只留下E(x)即  即一階矩。如果繼續求高階導,並讓t等於0,可以獲得高階的矩。  有趣的是,多次求導系數正好等於冪級數系數中的階乘,所以可以得到上面優美的形式。我們通過冪級數的形式證明了,對矩生成函數求導,可以獲得各階的矩。相對於積分,求導是一個容易進行的操作。

矩生成函數的性質

  矩生成函數的一面是冪級數,我們已經說了很多。矩生成函數的另一面,是它的指數函數的解析形式。即  在我們獲知了f(x)的具體形式之后,我們可以利用該積分獲得矩生成函數,然后求得各階的矩。當然,你也可以通過矩的定義來求矩。但許多情況下,上面指數形式的積分可以使用一些已有的結果,所以很容易獲得矩生成函數。矩生成函數的求解矩的方式會便利許多。

  矩生成函數的這一定義基於期望,因此可以使用期望的一些性質,產生有趣的結果。

 

  性質1 如果X的矩生成函數為 ,那么  (將Y寫成指數形式的期望,很容易證明該結論)

 

  性質2 如果X和Y是獨立隨機變量,分別有矩生成函數Mx,My那么對於隨機變量Z=X+Y有  (基於獨立隨機變量乘積的期望,等於隨機變量期望的乘積)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM