貝葉斯方法有着非常廣泛的應用，但是初學者容易被里面的概率公式的給嚇到，以至於望而卻步。所以有大師專門寫個tutorial，命名為“bayesian inference with tears”。 我本人也深受其苦，多次嘗試學習而不得其門而入。終於有一天，一種醍醐灌頂的感覺在腦海中出現，思路一下子清晰了，原來bayes估計竟然是這么一回事。本blog只是為了讓還處在痛苦的學習過程中的人能夠快速把握概念，理清思路，高手請繞道而行 :)
貝葉斯估計要解決的是概率估計問題，也就是說，已知一些樣本，他們滿足某種分布，需要估計這種分布的參數或者新數據出現的概率。說到概率估計，就不能不先說說最大似然方法。最大似然是一種最基本的參數估計方法，相信學過概率的人都應該知道。最大似然就是尋找最可能的參數，使得這些采樣樣本出現的概率最大。舉個簡單的例子吧。假設一個盒子的高度h滿足正態分布$N(h,1)$, 三次測量結果分別為 X={11，10.5，11.5} cm, 根據最大似然方法:
$$P(X|h) = \prod_{i=1}^{N}{p(x_i|h)} = \prod_{i=1}^{N}{\frac{1}{2\pi}exp{\{-\frac{(x_i-h)^2}{\sigma^2}\}}}$$
這里，
$$h=arg \max_h{P(X|h)} = arg \max_h{log P(X|h)} \\
= arg \max_h{exp{\{\sum_{i=1}^{N}{(x_i-h)^2}\}}}$$
通過簡單計算，可以得到h = 11cm，對新的測量的數據的可能出現概率，則由 $N(11,1)$給出。
最大似然估計是在對被估計量沒有任何先驗知識的前提下求得的。如果已知被估計參數滿足某種分布，則需要用到最大后驗估計。比如，在前面提到的例子中，假設h服從正態分布$N(10.5,1)$，要估計h的值，根據貝葉斯理論
$$P(h|X) = \frac{P(X|h)P(h)}{P(X)}$$
這里$P(X)$ 和我們要估計的參數無關，所以
$$h=arg \max_h{P(X|h)} = arg \max_h{P(X|h)P(h)} \\
= arg \max_h{exp{\sum_{i=1}^{N}{(x_i-h)^2}+(h-10.5)^2}}$$
通過簡單計算，可以得到 h= 10.875cm。根據MAP的結果，對新的測量的數據的可能出現概率，則由 $N(10.875,1)$給出。
貝葉斯估計其實要解決的不是如何去估計參數，而是如何估計新的測量數據的出現的概率的，但其過程並不需要要計算參數h，而是通過對h的積分得出：
$$P(x|h) = \int_{h \sim N(10.5,1)}{p(h|X)p(x|h)}dh$$
這個有點想求函數的數學期望。在實際應用中，為了便於計算，一般根據似然函數，對先驗概率進行假設，從而使得先驗分布和后驗概率有相同的表達形式，這就涉及到共軛先驗的概念。如果先驗概率和似然函數的關系能夠使得先驗和后驗概率有相同的函數形式，則可認為先驗概率是似然函數的共軛先驗。共軛先驗在貝葉斯推理中有非常廣泛的應用，很多問題都是通過共軛先驗求解的。