bernoulli, multinoulli distributions 講解

 

常用概率分布-Bernoulli 分布 & Multinoulli 分布

轉自：迭代自己-19常用概率分布

Bernoulli 分布

Bernoulli 分布 (Bernoulli distribution) 是單個二值隨機變量的分布。它由單個參數 \(\phi \in[0,1]\) 控制， \(\phi\) 給出了隨機變量等於 \(1\) 的概率。

一般的使用場景也補充下。

它具有如下的一些性質。

\[P(\mathrm{x}=1)=\phi \\P(\mathrm{x}=0)=1-\phi \\P(\mathrm{x}=x)=\phi^{x}(1-\phi)^{1-x} \]

上面這個沒怎么明白。

\[\mathbb{E}_{\mathbf{x}}[\mathrm{x}]=\phi\\\operatorname{Var}_{\mathrm{x}}(\mathrm{x})=\phi(1-\phi) \]

 

Multinoulli 分布

Multinoulli 分布 (multinoulli distribution) 或者范疇分布 (categorical distribution) 是指在具有 \(k\) 個不同狀態的單個離散型隨機變量上的分布，其中 \(k\) 是一個有限值。Multinoulli 分布由向量 \(p \in[0,1]^{k-1}\) 參數化，其中每一個分量 \(p_i\) 表示第 \(i\) 個狀態的概率。嗯，是的。最后的第 \(k\) 個狀態的概率可以通過 \(1-\mathbf{1}^{\top} \boldsymbol{p}\) 給出。這個是為啥？注意我們必須限制 \(\mathbf{1}^{\top} \boldsymbol{p} \leq 1\) 。沒怎么明白前面這個式子。 Multinoulli 分布經常用來表示對象分類的分布，所以我們很少假設狀態 \(1\) 具有數值 \(1\) 之類的。因此，我們通常不需要去計算 Multinoulli 分布的隨機變量的期望和方差。嗯。

Bernoulli 分布和 Multinoulli 分布足夠用來描述在它們領域內的任意分布。它們能夠描述這些分布，不是因為它們特別強大，而是因為它們的領域很簡單。它們可以對那些能夠將所有的狀態進行枚舉的離散型隨機變量進行建模。當處理的是連續型隨機變量時，會有不可數無限多的狀態，所以任何通過少量參數描述的概率分布都必須在分布上加以嚴格的限制。沒有很明白。