概率論基礎和貝葉斯定理

1. 前言

貝葉斯學派很古老，但是從誕生到一百年前一直不是主流。主流是頻率學派。頻率學派的權威皮爾遜和費歇爾都對貝葉斯學派不屑一顧，但是貝葉斯學派硬是憑借在現代特定領域的出色應用表現為自己贏得了半壁江山。

貝葉斯學派的思想可以概括為先驗概率+數據=后驗概率。也就是說我們在實際問題中需要得到的后驗概率，可以通過先驗概率和數據一起綜合得到。數據大家好理解，被頻率學派攻擊的是先驗概率，一般來說先驗概率就是我們對於數據所在領域的歷史經驗，但是這個經驗常常難以量化或者模型化，於是貝葉斯學派大膽的假設先驗分布的模型，比如正態分布，beta分布等。這個假設一般沒有特定的依據，因此一直被頻率學派認為很荒謬。雖然難以從嚴密的數學邏輯里推出貝葉斯學派的邏輯，但是在很多實際應用中，貝葉斯理論很好用，比如垃圾郵件分類，文本分類。

2. 概率論基礎

首先介紹的是多個隨機變量之間的關系，主要涉及聯合概率，邊緣概率，條件概率這三種關系。相應的概率都可以計算相應的信息熵的值

2.1 聯合概率

聯合概率指的是包含多個條件且所有條件同時成立的概率，記作\(P(X=a,Y=b)\)。

2.2 邊緣分布

邊緣概率是與聯合概率對應的，\(P(X=a)\)或\(P(Y=b)\)，這類僅與單個隨機變量有關的概率稱為邊緣概率。

2.3 條件分布

條件概率表示在條件\(Y=b\)成立的情況下，\(X=a\)的概率，記作\(P(X=a|Y=b)\).它具有如下性質：
“在條件\(Y=b\)下\(X\)的條件分布”也是一種“\(X\)的概率分布”，因此窮舉\(X\)的可取值之后，所有這些值對應的概率之和為1即 \(\sum_aP(X=a|Y=b)=1\)

2.4 聯合概率與邊緣概率的關系

\[P(X=a)=\sum_bP(X=a,Y=b) \]

2.5 聯合概率、邊緣概率與條件概率之間的關系

\[P(X=a|Y=b)=\frac{P(X=a,Y=b)}{P(Y=b)} \]

3. 貝葉斯定理

貝葉斯定理的基礎是先驗概率+數據=后驗概率。貝葉斯定理解決的是一些原因X無法直接觀測、測量，而我們希望通過其結果Y來反推出原因X的問題，也就是知道一部分先驗概率，來求后驗概率的問題。

3.1 條件獨立公式

如果X和Y相互獨立，則有：

\[P(X,Y)=P(X)P(Y) \]

3.2 條件概率公式

\[P(Y|X)=\frac{P(X,Y)}{P(X)} \]

\[P(X|Y)=\frac{P(X,Y)}{P(Y)} \]

3.3 全概率公式

\[P(X)=\sum_kP(X|Y=Y_k)P(Y_k) \]

3.4 貝葉斯公式

\[P(Y|X)=\frac{P(X|Y)P(Y)}{P(X)}=\frac{P(X|Y)P(Y)}{\sum_kP(X|Y=Y_k)P(Y_k)} \]