條件概率、全概率公式、貝葉斯准則、獨立性

害，選修課報了門人工智能，康康人工智能里需要的數學。。。只有概率論還沒了解，但是概率又在人工智能領域里占很大比重，所以最近就又開始刷概率。

條件概率

條件概率和普通概率啥區別？

普通概率問題長這樣：

你扔兩次硬幣，兩次硬幣都扔丟了的概率有多大

條件概率：

你扔兩次硬幣，第一次扔丟了，問兩次都扔丟概率有多大

所以它就是已經確定了最后結果的部分信息，然后在這個基礎上對剩下部分的概率進行推斷。

如果我們忽略上圖尷尬的配色並假設\(A={第一次扔丟了},B={第二次扔丟了}\)，那么中間的\({A\cap B}\)就是所求的。

然后因為現在我們已經知道了第一次扔丟了，所以事件\(A\)已經發生了，結果肯定在\(A\)里，那么就需要更新\(A\)為整個樣本空間替換原來的\(\Omega\)(即藍色框框)。那現在所求的兩次都扔丟的部分就得是\(\frac{P(A\cap B)}{P(A)}\)，這就是條件概率的公式。

\[P(B|A)=\frac{P(A\cap B)}{P(A)} \]

\(P(B|A)\)意思就是已知A發生了，B發生的概率，上面公式很自然，很容易想像。

我們可以把沒有條件的概率想象成特殊的條件概率，它的條件就是結果肯定在整個樣本空間\(\Omega\)中，所以\(P(B|\Omega)=\frac{P(\Omega \cap B)}{P(\Omega)}=P(B)\)

條件概率公式的變形

其實在大多數問題里，求的不是條件概率，而是已知條件概率，讓你求\(P(A\cap B)\)，就比如如果天空中5%的概率出現飛機，出現飛機雷達有95%的概率檢測出來，然后讓你算雷達正確報警(有飛機並檢測出來了)的概率。

所以可以把概率公式變下形狀

\[P(A\cap B)=P(A)P(B|A) \]

同樣的，也有

\[P(A\cap B)=P(B)P(A|B) \]

這兩個公式在全概率公式和貝葉斯准則中都會用到

全概率公式

全概率定理是\(A_1,A_2,...,A_n\)是一組不相容的事件，並且形成樣本空間的一個分割，而且對於每個\(i,P(A_i)>0\)，那么對於事件B

\[P(B)=P(A_1\cap B)+...+P(A_n\cap B)\\ =P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n) \]

展現在圖上就是這樣，很自然，\(P(B)\)等於這些不相容事件與B的交集之和。

全概率公式用於解決類似這樣的問題：

　你參加一個棋類比賽,其中50%是一類棋手,你贏他們的概率為0.3;25%是二類棋手,你贏他們的概率是0.4;剩下的是三類棋手,你贏他們的概率是0.5.從他們中間隨機地選一位棋手與你比賽,你的勝算有多大?

貝葉斯准則

我們以往都是已知原因，推測結果。貝葉斯准則巧妙的利用了條件公式和全概率公式從結果反推原因的概率。

比如一個患者的檢查結果是在胸部發現了陰影，設為事件\(B\)，造成陰影的原因可能有以上三個分別為\(A_1,A_2,A_3\)，現在要在已知發現陰影B的條件下每個成因A的概率\(P(A_i|B)\)

\[P(A_i|B)=\frac{P(A_i)P(B|A_i)}{P(B)}\\ =\frac{P(A_1)P(B|A_i)}{P(A_1)P(B|A_1)+...+P(A_n)P(B|A_n)} \]

上面就是貝葉斯公式，關於分母，用了條件概率的變形，分子則是用了全概率公式。

獨立性

如果事件A發生對事件B的概率沒有影響就稱為兩個事件是獨立的。

就比如你拋兩次硬幣，已知你第一次拋的是正的，問第二次拋的是正的的概率，它依然還是1/2。

所以兩個獨立事件滿足

\[P(A|B)=P(A)\\ P(B|A)=P(B) \]

不過上面的兩個公式有限制，因為條件概率中限制條件發生的概率不能為0，變形可得

\[P(A\cap B)=P(A)P(B) \]

這樣對A和B就都沒有不為0的限制了。

很容易把兩個事件的獨立關系理解成上面的圖，但是上面圖中的AB並不獨立，因為它們其中一個發生，另一個就肯定不會發生，也就是一個事件是否發生受另一個的影響。

如果非要用圖表示，獨立性可以這樣畫

假設圖中每個藍色塊的概率是1/4，紅色事件(1/2)和綠色事件(1/2)就是互相獨立的，它們有交集(1/4)且交集正好等於彼此的一半

用上面的公式證明

\[P(紅\cap 綠)=P(紅)P(綠)=1/2\times 1/2=1/4 \]

條件獨立

在給定條件C下，若AB滿足

\[P(A\cap B|C)=P(A|C)P(B|C) \]

則AB在條件C下獨立，可以導出另一個特征

\[P(A\cap B|C)=\frac{P(A\cap B\cap C)}{P{C}}\\ = \frac{P(C)P(B|C)P(A|B\cap C)}{P(C)}\\ =P(B|C)P(A|B\cap C) \]

若\(P(B|C)\not = 0\)，把這個式子和上面的聯立就得到

\[P(A|B\cap C)=P(A|C) \]

但是AB相互獨立並不說明它們在條件C下獨立

這個圖可能有些亂了...沒啥大事，A是紅的，B是綠的，C是黃的，我們知道AB是相互獨立的，但是\(P(A|C)\)和\(P(B|C)\)並不相互獨立

\[P(A|C)=P(B|C)=1/2\\ P(A\cap B|C)=0\\ p(A\cap B|C)\not =P(A|C)P(B|C) \]

一組事件獨立

\[P(A_1\cap A_2\cap A_3)=P(A_1)P(A_2)P(A_3) \]

一組事件兩兩獨立無法推測出這組事件相互獨立

還是上面那個神圖

ABC兩兩獨立，但是它們的交集不等於它們各自概率的乘積，他們的交集是0，概率乘積是1/8