作者：Vamei 出處：http://www.cnblogs.com/vamei 歡迎轉載，也請保留這段聲明。謝謝！
在概率公理中，我們建立了“概率測度”的概念，並使用“面積”來類比。這是對概率的第一步探索。為了讓概率這個工具更加有用，數學家進一步構築了“條件概率”，來深入探索概率中包含的數學結構。我們可以考慮生活中常見的一個估計：
三個公司開發一塊地。A占地20%，B占地30%，C占地50%。三個公司規划的綠地占比不同：A土地中40%規划為綠地，B土地中的30%規划為綠地，C土地中的10%規划為綠地。我想選擇綠地最大的一個小區，應該選擇哪一個呢？我們可以畫圖出來：
顯然，我們需要比較的是A：0.2x0.4，B：0.3x0.1，C：0.5x0.1。這是我們常見的一種情形：整個地區分塊，每塊有一定的比例。再進一步考慮每一塊內部的相對比例。我們要了解的“條件概率”這一概念，就對應這里的“相對比例”。
條件概率：何棄療
上面公司的不同造成了綠地占比的不同，也就是說，公司這一因素影響了綠地占比。條件概率同樣反映了其它因素對事件概率的影響。
比如說，患者康復有一個概率。在接受治療和放棄治療的兩種條件下，患者康復的概率也不同。下面是患者的統計結果。
| 治療(T) | 棄療(NT) | 總數 | |
| 康復(R) | 300 | 100 | 400 |
| 未康復(NR) | 200 | 400 | 600 |
| 總數 | 500 | 500 | 1000 |
所有的1000人中，共有400人康復，總體的康復概率為[$P(R) = 400/1000 = 0.4$]。另一方面，在接受治療一列，總共有500人。在這500人種，有300人康復。因此，在接受治療的條件下，康復的概率變成[$ 300/500 = 0.6$]。這個概率值高於總體的康復概率。而放棄治療的條件下，康復的概率為[$ 100/500 = 0.2$]，康復的概率較低 (可惡，為何放棄治療)。可見，康復率受到是否接受治療這一條件的影響。
為了表達某一事件(治療)對另一個事件(康復)概率的影響，概率論中引入條件概率的概念。條件概率記為[$P(R|T) = 300/500 = 0.6$]。R和T是兩個事件，即治療和康復。在治療(T)的條件下，患者康復(R)的概率為0.6。
(對應文章開始的例子，每個公司的綠地占比為條件概率。比如[$P(綠地|A公司) = 40%$])
不要放棄治療啊！
條件概率的定義
上面給出了條件概率的粗糙概念。但我們已經了解了概率的公理化體系，因此可以基於公理化體系，更嚴格的定義條件概率。
定義 如果A和B是兩個事件，且[$P(B) \ne 0$]。那么B條件下，A的條件概率為
$$P(A|B) = \frac{P(A \cap B)}{P(B)}$$
這是一個非常直觀的概念。回到綠地的例子，這里的意思就是說，我們想要知道A公司的綠地占比[$P(綠地 | A公司)$]的話，可以用A公司占據的綠地面積[$P(A公司 \cap 綠地)$]，除以A公司占據土地的面積[$P(A公司)$]。
在上面定義條件概率時，我們使用了概率[$P(A \cap B)$]，即A和B同時發生的概率。從頻率的角度上來看，是同時符合A和B的樣本數除以[$\Omega$]中的樣本總數。比如上面治療和康復的例子，[$P(R \cap T) = 300/1000$]。但[$P(A|B)$]的隱含假設是，B確定要發生，即病人確定康復。符合這樣條件的樣本只有500個，而不是整個[$\Omega$]的1000個樣本。
也就是說，當確定B發生時，樣本空間不再是[$\Omega$]，而是縮小成B。我們在B樣本空間中尋找A發生的概率。從上面的圖中看，就是[$A \cap B$]的面積(概率測度)，除以B占據的面積(概率測度)，也就是我們條件概率的定義。
條件概率的相關推論
條件概率有一些很有用的推論：
推論1 A和B為兩個事件，且[$P(B) \ne 0$]。那么
$$P(A \cap B) = P(A|B)P(B)$$
這個只是將上面的定義中的等式兩側乘以P(B)。從而允許我們從條件概率，來推導兩個事件同時發生的概率。
假設衛星觀察到，一個地區某一天有雲的概率為[$P(Cloud) = 0.2$]。該地區的地面觀測站發現，有雲的條件下，當天下雨的為0.5。這是一個條件概率，即[$P(Rain | Cloud) = 0.5$]。那么既下雨又有雲的概率為
$$P(Cloud \cap Rain) = P(Cloud) \times P(Rain | Cloud) = 0.2 \times 0.5 = 0.1$$
另一個推論，用於通過已知的條件概率，來計算一個事件的概率
推論2 有事件[$B_1, B_2, ..., B_n$]。如果[$\bigcup_{i=1}^n B_i = \Omega $]，兩個不同事件互斥([$B_i \cap B_j = \Phi$], 如果[$i \ne j$]），且任意[$P(B_i) \gt 0$]。那么，對於任意事件A
$$P(A) = \sum\limits_{i=1}^n P(A|B_i)P(B_i)$$
這個推論的要點是不同的B事件互斥(不相交)，且它們的並集是[$\Omega$]。每個元素都必須且只能進入一個[$B_i$]。在這樣的條件下，我們說[$B_1, B_2, ..., B_n$]是樣本空間的一個分割(partion)。 這就像二戰后的德國被分區占領一樣，每個[$B_i$]是一個占領區。
這正是對所有情況“分塊”的思想。再根據每個分塊中的某個事件的相對比例，乘以分塊自身的權重(“塊”的概率)，我們可以求得該事件的絕對占比。
假設家庭收入分為高(H)，中(M)，低(L)三類，高收入家庭占20%，中等收入家庭占65%，低收入家庭占15%。如果高收入家庭的擁有汽車的概率為0.8，中等收入家庭的擁有汽車的概率為0.5，低收入家庭的擁有汽車的概率為0.2。那么任意一個家庭的擁車概率為:
$$P(C) = P(C|H)P(H) + P(C|M)P(M) + P(C|L)P(L) = 0.8 \times 0.2 + 0.5 \times 0.65 + 0.2 \times 0.15 = 0.515$$
獨立事件
兩個事件可以是相互獨立的 (independent)。直觀的講，如果事件A發生與否不會影響事件B的概率，那么A與B獨立。
我們嘗試將這一個概念用條件概率來表達：將B看作A的條件，那么A的條件概率不受B的影響，即：
定義 兩個事件A和B，[$P(A) \ne 0$]，[$P(B) \ne 0$]。如果[$P(A|B) = P(A)$]，或者[$P(B|A) = P(B)$]，那么事件A和B是獨立事件。
某一條件下的“相對占比”等於任意條件下的“絕對占比”？這是怎么一種情況呢？
我們可以想像這樣的情況。水中氫和氧的組成比為2：1 (任意條件下)。而水的三種態(水蒸汽、液態水、冰)中的氫和氧組成也是2：1。也就是說，水的態這一條件對氫氧組成無影響，兩者獨立。
根據獨立事件和條件概率的定義可以推知，如果
$$P(A \cap B) = P(A)P(B)$$
那么A和B獨立。
注意，獨立事件和互斥事件不同。獨立事件是指A發生的概率不影響B。對於互斥事件來說，如果A發生，那么B必然不發生，A的發生影響到了B，所以不是獨立事件。比如下雨和不下雨可以看做互斥事件，而下雨和骰子為1可以看做獨立事件。
事件[$A_1, A_2, ..., A_n$]被稱為相互獨立(mutually independent)，如果對於任意子集[$A_{i_1},...,A_{i_m}$]都有
$$P(A_{i_1} \cap ... \cap A_{i_m}) = P(A_{i_1})...P(A_{i_m})$$
貝葉斯法則
根據上面的定律，我們可以推導出貝葉斯法則(Bayes' Rule)。
貝葉斯法則 如果A和[$B_1, B_2, ..., B_n$]為事件，[$B_i$]互斥，[$\bigcup_{i=1}^n B_i = \Omega$]， 且[$P(B_i) \gt 0$]。那么
$$P(B_j|A) = \frac{P(A|B_j)P(B_j)}{\sum\limits_{i=1}^n P(A|B_i)P(B_i)}$$
這個法則是一種求條件概率的方式。
我們使用文章開頭的治療與康復的例子。我們已知治療和棄療的條件概率為[$P(R|T) = 0.6$]，[$P(R/NT) = 0.2$]，而[$P(T) = P(NT) = 0.5$]。
治療與棄療互斥(不可能同時治療又棄療)，且其並集構成全集(要么治療，要么棄療，沒有其它的可能)。根據貝葉斯法則，
$$P(T|R) = \frac{P(R|T)P(T)}{P(R|T)P(T) + P(R|NT)P(NT)} = \frac{0.6 \times 0.5}{0.6 \times 0.5 + 0.2 \times 0.5} = 0.75$$
即一個康復的人，用葯的概率。這與我們在表格中看到的比例相符(400個康復的人中，300個人用葯)。
貝葉斯法則常用於求一些比較難以直接獲得的條件概率。此外，在機器學習中，也有貝葉斯算法的應用。
練習，編寫一個Python函數，用於實現貝葉斯法則的功能。並計算下面的概率:
已知專家預報下雨時，下雨的概率為0.8; 專家預報不下雨時，下雨的概率為0.2。根據以往的經驗，專家一年中有30天預報下雨，剩下的天里預報不下雨。問，如果下雨，專家預報的是不下雨的概率為多少?
總結
條件概率
獨立事件
貝葉斯法則
歡迎繼續閱讀“數據科學”系列文章