PRML3-Gamma分布與共軛先驗分布

Gamma分布與共軛先驗

Gamma函數

對於整數\(n\)的階乘，我們有\(n!=n\times (n-1)...\times1\)。

對於實數\(x\)的階乘，計算公式為：

\[\Gamma(x)=\int_0^\infty t^{x-1}e^{-t}\,dt \]

性質如下：

1. \(\Gamma(x+1)=x\Gamma(x)\)
2. 當x為正整數時有：\(\Gamma(x)=(x-1)!\)
3. \(\Gamma(1)=1,\ \ \Gamma(0.5)=\sqrt\pi\)

Gamma分布

將Gamma函數標准化可以得到：

\[\int_0^\infty \frac{t^{\alpha-1}e^{-t}}{\Gamma(\alpha)}\,dt = 1 \]

這就是簡單的Gamma分布：

\[Gamma(t|\alpha)=\frac{t^{\alpha-1}e^{-t}}{\Gamma(\alpha)} \]

此時做\(t=\beta x\)：

\[\int_0^\infty \frac{(\beta x)^{\alpha-1}e^{-\beta x}}{\Gamma(\alpha)}\,d(\beta x) = 1 \]

就可以得到Gamma分布的一般形式：

\[Gamma(t|\alpha,\beta)=\frac{\beta^\alpha x^{\alpha-1}e^{-\beta x}}{\Gamma(\alpha)} \]

其中\(\alpha\)為形狀參數(shape parameter)，決定了分布曲線的形狀；\(\beta\)為逆尺度參數(inverse scale parameter)，決定曲線有多陡。

當\(\alpha = k+1,\ \ \beta = 1\)時：

\[Gamma(x)=\frac{x^ke^{-x}}{\Gamma(k+1)}=\frac{x^ke^{-x}}{k!} \]

這正是泊松分布的分布函數。由此看來Gamma分布是泊松分布在實數域上的擴展。

共軛分布(Conjugate distribution)

在貝葉斯理論中，后驗分布如下計算：

\[g(\theta|x)=\frac{g(\theta)f(x;\theta)}{f(x)}=c_xL(\theta,x)g(\theta) \]

\(f(x)\)表示觀察樣本的邊緣密度(marginal density)，是只關於變量\(x\)的概率分布，不考慮其他變量。\(f(x;\theta)=L(\theta,x)\)是似然函數（樣本的分布）(likelihood or sampling distribution)，\(g(\theta)\)是其先驗分布。

其中：

\[c_x^{-1}=f(x)\\ f(x)=\int f(x;\theta)g(\theta)\,d\theta \]

此公式解釋了邊緣密度，可以理解為\(\theta\)取某一值時，我們得到觀察值樣本的概率的積分。

當\(g(\theta)\)與\(g(\theta|x)\)的形式相同時，我們說這是共軛分布，\(g(\theta)\)為共軛先驗。（沒有共軛后驗的說法）

為何使用共軛先驗？

可以使得先驗分布和后驗分布的形式相同，這樣一方面合符人的直觀（它們應該是相同形式的）另外一方面是可以形成一個先驗鏈，即現在的后驗分布可以作為下一次計算的先驗分布，如果形式相同，就可以形成一個鏈條。

為什么沒有共扼后驗？

如果先驗分布和似然函數可以使得先驗分布和后驗分布（posterior distributions）有相同的形式，那么就稱先驗分布與似然函數是共軛的。所以，共軛是指的先驗分布(prior probability distribution)和似然函數(likelihood function)。如果某個隨機變量Θ的后驗概率 p(θ|x)和氣先驗概率p(θ)屬於同一個分布簇的，那么稱p(θ|x)和p(θ)為共軛分布，同時，也稱p(θ)為似然函數p(x|θ)的共軛先驗。

可以看到二項分布的共軛先驗分布為Beta分布。

參考

Gamma函數深入理解

理解Gamma分布、Beta分布與Dirichlet分布

共軛先驗、共軛分布——為LDA做准備