貝葉斯公式的共軛分布

   共軛分布是一種極大簡化貝葉斯分析的方法。其作用是，在貝葉斯公式包括多種概率分布的情況下。使這些分布的未知參數在試驗前被賦予的物理意義，延續到試驗后，便於分析。

1. 貝葉斯公式

貝葉斯公式例如以下：

當中。表示模型中的未知參數。表示樣本。

這里有三個重要的概念：先驗分布、似然函數，以及后驗分布。
是先驗分布，表示在觀察樣本之前，依照經驗覺得符合某種概率分布。

比方說在拋硬幣之前，我們覺得正反兩面出現的概率各為1/2。
是似然函數，表示在給定模型參數的條件下，樣本數據服從這一概率模型的相似程度。
是后驗分布。表示在觀察一系列樣本數據后。模型參數服從的概率分布。

即。對先驗分布進行了修正。更接近真實情況。

另外。由於是樣本。所以是一個確定的值。

2. 共軛分布的定義

    在貝葉斯公式中，假設先驗分布和似然函數使得后驗分布具有和先驗分布同樣的形式，那么就稱先驗分布和似然函數是共軛的。

3. 舉例說明

3.1 Beta分布與二項分布共軛

Beta概率函數例如以下:

當中，是一個常系數。除去常系數不看，Beta函數與二項分布函數具有同樣的形式。即。

假設把Beta分布當做先驗分布，二項分布函數當做似然函數，那么通過貝葉斯公式計算得到的后驗分布與先驗分布具有同樣的形式。所以，Beta分布和二項分布共軛。

3.2  Dirichlet分布與多項分布共軛

Beta分布擴展到多維是 Dirichlet分布（狄利克雷分布）。二項分布擴展到多維就是多項分布。Dirichlet分布函數例如以下：

多項分布函數例如以下：

當中，K是指K維。和都是常系數。不看常系數，Dirichlet函數與多項分布函數具有同樣的形式。因此計算得到的后驗分布也與先驗分布有同樣的形式。

即。Dirichlet分布和多項分布式是共軛的。