伯努利分布、二項分布、多項分布、Beta分布、Dirichlet分布
1. 伯努利分布
伯努利分布(Bernoulli distribution)又名兩點分布或0-1分布，介紹伯努利分布前首先需要引入伯努利試驗（Bernoulli trial）。
- 伯努利試驗是只有兩種可能結果的單次隨機試驗，即對於一個隨機變量X而言：
伯努利試驗都可以表達為“是或否”的問題。例如，拋一次硬幣是正面向上嗎？剛出生的小孩是個女孩嗎？等等
- 如果試驗E是一個伯努利試驗，將E獨立重復地進行n次，則稱這一串重復的獨立試驗為n重伯努利試驗。
- 進行一次伯努利試驗，成功(X=1)概率為p(0<=p<=1)，失敗(X=0)概率為1-p，則稱隨機變量X服從伯努利分布。伯努利分布是離散型概率分布，其概率質量函數為：
2. 二項分布
二項分布(Binomial distribution)是n重伯努利試驗成功次數的離散概率分布。
- 如果試驗E是一個n重伯努利試驗，每次伯努利試驗的成功概率為p，X代表成功的次數，則X的概率分布是二項分布，記為X~B(n,p)，其概率質量函數為
顯然，
- 從定義可以看出，伯努利分布是二項分布在n=1時的特例
- 二項分布名稱的由來，是由於其概率質量函數中使用了二項系數
，該系數是二項式定理中的系數，二項式定理由牛頓提出：
- 二項分布的典型例子是扔硬幣，硬幣正面朝上概率為p, 重復扔n次硬幣，k次為正面的概率即為一個二項分布概率。
3. 多項分布
多項式分布(Multinomial Distribution)是二項式分布的推廣。二項式做n次伯努利實驗，規定了每次試驗的結果只有兩個，如果現在還是做n次試驗，只不過每次試驗的結果可以有多m個，且m個結果發生的概率互斥且和為1，則發生其中一個結果X次的概率就是多項式分布。
- 扔骰子是典型的多項式分布。扔骰子，不同於扔硬幣，骰子有6個面對應6個不同的點數，這樣單次每個點數朝上的概率都是1/6（對應p1~p6，它們的值不一定都是1/6，只要和為1且互斥即可，比如一個形狀不規則的骰子）,重復扔n次，如果問有k次都是點數6朝上的概率就是
多項式分布一般的概率質量函數為：
4. 貝塔分布
在介紹貝塔分布(Beta distribution)之前，需要先明確一下先驗概率、后驗概率、似然函數以及共軛分布的概念。
- 通俗的講，先驗概率就是事情尚未發生前，我們對該事發生概率的估計。利用過去歷史資料計算得到的先驗概率，稱為客觀先驗概率； 當歷史資料無從取得或資料不完全時，憑人們的主觀經驗來判斷而得到的先驗概率，稱為主觀先驗概率。例如拋一枚硬幣頭向上的概率為0.5，這就是主觀先驗概率。
- 后驗概率是指通過調查或其它方式獲取新的附加信息，利用貝葉斯公式對先驗概率進行修正，而后得到的概率。
- 先驗概率和后驗概率的區別：先驗概率不是根據有關自然狀態的全部資料測定的，而只是利用現有的材料(主要是歷史資料)計算的；后驗概率使用了有關自然狀態更加全面的資料，既有先驗概率資料，也有補充資料。另外一種表述：先驗概率是在缺乏某個事實的情況下描述一個變量；而后驗概率（Probability of outcomes of an experiment after it has been performed and a certain event has occured.）是在考慮了一個事實之后的條件概率。
- 似然函數
- 共軛分布(conjugacy)：后驗概率分布函數與先驗概率分布函數具有相同形式
好了，有了以上先驗知識后，終於可以引入貝塔分布啦！！首先，考慮一點，在試驗數據比較少的情況下，直接用最大似然法估計二項分布的參數可能會出現過擬合的現象（比如，扔硬幣三次都是正面，那么最大似然法預測以后的所有拋硬幣結果都是正面）。為了避免這種情況的發生，可以考慮引入先驗概率分布
來控制參數
，防止出現過擬合現象。那么，問題現在轉為如何選擇
先驗概率和后驗概率的關系為：
二項分布的似然函數為（就是二項分布除歸一化參數之外的后面那部分，似然函數之所以不是pdf，是因為它不需要歸一化）：
如果選擇的先驗概率
次方德乘積的關系，那么后驗概率分布的函數形式就會跟它的先驗函數形式一樣了。具體來說，選擇prior的形式是
，那么posterior就會變成
這個樣子了(
為pdf的歸一化參數)，所以posterior和prior具有相同的函數形式(都是
所以，我們選擇了貝塔分布作為先驗概率，其概率分布函數為：
，其中
5. 狄利克雷分布
狄利克雷分布(Dirichlet distribution)是多項分布的共軛分布，也就是它與多項分布具有相同形式的分布函數。
- 概率分布函數為：
6. 后記
本篇博文只是將伯努利分布、二項分布、多項分布、貝塔分布和狄利克雷分布做了簡單的介紹，其中涉及到大量的概率基礎和高等數學的知識，文中的介紹只是粗淺的把這些分布的概念作了大概介紹，沒有對這些分布的產生歷史做介紹。我想，更好的介紹方式，應是從數學史的角度，將這幾項分布的發現按照歷史規律來展現，這樣會更直觀、形象。后續再補吧！