概率統計13——二項分布與多項分布

原文 | https://mp.weixin.qq.com/s/bOchsmHTINKKlyabCQKMSg

相關閱讀

最大似然估計(概率10)

尋找“最好”（3）函數和泛函的拉格朗日乘數法

伯努利分布

　　如果隨機試驗僅有兩個可能的結果，那么這兩個結果可以用0和1表示，此時隨機變量X將是一個0/1的變量，其分布是單個二值隨機變量的分布，稱為伯努利分布。注意伯努利分布關注的是結果只有0和1，而不管觀測條件是什么。

性質

　　設p是隨機變量等於1的概率，伯努利分布有一些特殊的性質：

　　將上面的兩個式子合並：

　　伯努利變量是離散型，並且是一個0/1變量，它的數學期望是：

　　方差是：

極大似然

　　最大似然估計(概率10)

　　對於伯努利分布的質量函數來說，p是唯一的參數。如果給定N個獨立同分布的樣本 {x⁽¹⁾, x⁽²⁾, ……, x^(N)}，x^(t)是投硬幣的結果，是隨機變量，x^(t)ϵ{0, 1}，可以通過極大似然估計，根據樣本推測出p的取值：

　　取對數似然函數：

　　這是個符合直覺的結果，即使沒學過概率和極大似然也能得出這個結論。

二項分布

　　假設某個試驗是伯努利試驗，成功概率用p表示，那么失敗的概率為1-p。現在進行了N次這樣的試驗，成功了x次，失敗了N-x次，發生這種情況的概率是多少？

質量函數

　　對於每次實驗來說，成功的概率都是p，失敗的概率是1-p。假設已經完成了N次試驗，並且前x次都成功了，后N-x次都失敗了：

　　x次成功的情況當然不止一種，比如成功和失敗交叉在一起：

　　這種成功和失敗的排列順序共有種不同的情況，因此對於任意N次伯努利試驗，成功了x次的概率是：

　　的另一種記法是 。

　　P(x)就是二項分布的質量函數，是N次伯努利試驗中取得x次成功的概率。

性質

　　二項分布的均值和方差分別為Np和Np(1-p)。

　　從二項分布的質量函數P(x)可知，概率分布只與試驗次數N和成功概率p有關，p越接近0.5，二項分布將越對稱。保持二項分布試驗的次數N不變，隨着成功概率p逐漸接近0.5，二項分布逐漸對稱，且近似於均值為Np、方差為Np(1-p)的正態分布：

多項分布

　　多項分布是二項分布的擴展，其中隨機試驗的結果不是兩種狀態，而是K種互斥的離散狀態，每種狀態出現的概率為p_i，p₁ + p₁ + … + p_K = 1，在這個前提下共進行了N次試驗，用x₁~x_K表示每種狀態出現次數，x₁ + x₂ + …+ x_K = N，稱X=(x₁, x₂, …, x_K)服從多項分布，記作X~PN(N：p₁, p₂,…,p_n)。

質量函數

　　如果說二項分布的典型案例是扔硬幣，那么多項分布就是扔骰子。骰子有6個不同的點數，扔一次骰子，每個點數出現的概率（對應p₁~p₆）都是1/6。重復扔N次，6點出現x次的概率是：　　

　　這和二項分布的質量函數類似。現在將問題擴展一下，扔N次骰子，1~6出現次數分別是x₁~x₆時的概率是多少？

　　仍然和二項式類似，假設前x₁次都是1點，之后的x₂次都是2點……最后x₆次都是6點：

　　1~6出現次數分別是x₁~x₆的情況不止一種，1點出現x₁次的情況有種；在1點出現x₁次的前提下，2點出現x₂次的情況有種；在1點出現x₁次且2點出現x₂次的前提下，3點出現x₃的情況有種……扔N次骰子，1~6出現次數分別是x₁~x₆時的概率是：

　　根據①：

　　最終，扔骰子的概率質量函數是：

　　把這個結論推廣到多項分布：某隨機實驗如果有K種可能的結果C₁~C_K，它們出現的概率是p₁~p_K。在N隨機試驗的結果中，分別將C₁~C_K的出現次數記為隨機變量X₁~X_K，那么C₁出現x₁次、C₂出現x₂次……C_K出現x_K次這種事件發生的概率是：

　　其中x₁ + x₂ + …+ x_K = N，p₁ + p₂ + …+ p_K = 1。

極大似然

　　多項式的極大似然是指在隨機變量X₁=x₁, X₂=x₂, ……, X_K=x_K時，最可能的p₁~p_K。

　　對數極大似然：

　　現在問題變成了求約束條件下的極值：

　　根據拉格朗日乘子法：

　　尋找“最好”（3）函數和泛函的拉格朗日乘數法

　　根據約束條件：

　　這也是個符合直覺的結論。面對有N個樣本的K分類數據集，當p_i = x_i/N 時，C_i類最可能出現x_i次。為了這個結論我們卻大費周章，也許又有人因此而嘲笑概率簡單了……

---

　　出處：微信公眾號 "我是8位的"

　　本文以學習、研究和分享為主，如需轉載，請聯系本人，標明作者和出處，非商業用途！ 

　　掃描二維碼關注作者公眾號“我是8位的”