Dirichlet分布及其屬性

Dirichlet分布

在概率統計中，Dirichlet分布通常表示為，是一個以正實數的向量為參數的連續多變量概率分布族。這是Beta分布的多元推廣。在貝葉斯統計中，狄氏分布很多情況下可作為先驗分布，其實Dirichlet分布是類別分布和多項分布的共軛先驗。

狄利克雷分布向無限維度的推廣便是狄利克雷過程。

Categorical分布

分類分布（有時也被不確切地稱為“離散分布”或“多項分布”）從K個概率中的一個來描述事件的發生概率。參數值必須在0、1之間，它們的和為1。分類分布是伯努利分布向多類隨機變量的推廣。

在分布的表達式中，令采樣空間是有限的整數序列。作為標簽，這些整數的值並不是重要的，他們可以是{0,1,…,K-1}或{1,2,…,K}或者其他任意值。為了方便，這里我們使用{1,2,…,K}。

概率密度函數為：

表示元素發生的概率並且。

另外一種更復雜但利於數學運算的表達式：

表示：如果取值為1，否則為0.

嚴格意義上，分類分布可以看做是多項式分布的一種特殊形式（n=1）。

Dirichlet分布是分類分布和多項分布的共軛先驗，這意味着我們可以給分類分布的未知參數一個服從Dirichlet分布的先驗分布。然后，這個參數的后驗分布（結合觀測數據知識后）也是個Dirichlet分布。這樣我們便可以根據每次新的觀測值不斷的更新參數的分布模型。形式上，解釋如下：

假設模型：

我們有：

在給定分類分布的N個抽樣集時，可以利用這種關系來估計它的參數。此時：

技術上，某些應用也可以采用：

最大后驗估計

邊緣似然：上述模型中，觀測值的邊緣似然是Dirichlet-multinomial分布

這里使用了歐拉積分：

邊緣似然分布在分層貝葉斯模型中扮演着重要的角色，當使用Gibbs抽樣或變分貝葉斯來做推斷時，Dirichlet先驗分布經常需要邊緣化。

后驗預測分布：在已知X和時，新觀測值的取值分布，形式如下：

結論：后驗預測概率是后驗分布的期望值。

從另一個角度來看：

新來數據會以較大的概率分配到以前出現次數較多的類中，這種情況可視作“偏好依附”模型。它與很多現實世界的過程相符，在模型下，起初少量數據點的選擇對以后數據的分配將產生巨大的影響。

后驗條件分布：在Gibbs抽樣中，我們需要在多變量貝葉斯網絡組成的條件分布（每一個變量都依賴於其他值）中進行抽樣。

對於一個數據集X，用表示除去的數據集，有：

這里，表示中屬於第i類的數據個數。

抽樣過程：

// do multinomial sampling via cumulative method
    for (int k = 0; k < K; k++) {
    p[k] = (nw[w][k] + beta) / (nwsum[k] + Vbeta) *
            (nd[m][k] + alpha) / (ndsum[m] + Kalpha);    //1：得到屬於每一類的概率
    }//這就是ToTGibbs中的公式和text-est文件
    // cumulate multinomial parameters
    for (int k = 1; k < K; k++) {
    p[k] += p[k - 1];
    }                                            //2：得到累計概率分布
    // scaled sample because of unnormalized p[]
    double u = ((double)random() / RAND_MAX) * p[K - 1];
                                                //3：采樣均勻分布的值
    for (topic = 0; topic < K; topic++) {
    if (p[topic] > u) {
        break;
    }
}                                            //4：返回類別

Multinomial分布

在概率理論中，Multinomial分布是二項式分布的推廣。Multinomial分布給出了多類問題中，任意類別數組合的概率。

二項分布是n次伯努利分布中，兩類組合發生次數的概率分布。

注意：在自然語言處理領域，categorical和multinomial分布是混為一談的，當提到multinomial分布時實質意味着是categorical分布；當然，categorical也可以視為multinomial的特殊情況。

概率密度函數：假設袋子的球分為k類，我們做n次有放回抽樣。來自同一類的球是完全一樣的。我們用表示第i（i=1,…,k）類的球的次數。表示屬於第i類的概率。

屬性：在n次實驗中，類i的數學期望

協方差矩陣：每一個對角線元素實質是二項分布，因此

非對角線元素

所有的協方差都是負值，因為對於固定的數值n，多類中一類的增加勢必導致另類的減少。

返回Dirichlet分布，其概率密度表達式：

其中，且。上式中表示概率密度公式是個的歐式空間，在不滿足條件的空間里密度為0.

多項beta函數可以用gama函數表示：

特殊情況：一種比價常見的形式是對稱Dirichlet分布0，這里向量的所有元素取相同值。因為我們通常沒有任何先驗的知識來確定某個分量要優於其他分量，所以當使用Dirichlet先驗時常使用其對稱形式。此時的標量稱為concentration parameter（濃度參數）。有：

當時，上式與值無關等價於均勻分布。當時，分布越趨於平穩，在一次抽樣中的所有值都趨於相同；當時，分布越趨於尖銳，在一次抽樣中，大多數數值趨近於0，只有很少分量具有較大值。

更一般的情況，參數向量有時寫成的形式，其中為標量濃度參數，是基測量（的和為1）。主題模型的文獻中經常使用這種構造。

屬性：假設

由定義得：

令，則：

而且，如果有

邊緣分布：Dirichlet分布的邊緣分布是beta分布

聚合性質：如果

則

這個性質可以用來推導出上面提到的邊緣分布。

相關分布：

1.對於

2.

2.

3.那么：

雖然之間並不是相互獨立的，但他們可以通過K個獨立的gamma分布得到，詳見 Devroye, Luc (1986). Non-Uniform Random Variate Generation. Springer-Verlag. p. 594. (Chapter 11.)。

Gamma分布

使用Gamma分布，我們可以很容易地得到K維Dirichlet分布的抽樣。首先，從Gamma分布得到K個獨立的隨機抽樣。

然后得：