聯合概率的乘法公式：
（如果隨機變量是獨立的，則
）
由乘法公式可得條件概率公式：，
，
全概率公式：
，其中
（，則
，則可輕易推導出上式）
貝葉斯公式：
又名后驗概率公式、逆概率公式：后驗概率
＝似然函數
×先驗概率
/證據因子。解釋如下，假設我們根據“手臂是否很長”這個隨機變量（取值為“手臂很長”或“手臂不長”）的觀測樣本數據來分析遠處一個生物是猩猩類別還是人類類別（假設總共只有這2種類別）。我們身處一個人跡罕至的深山老林里，且之前就有很多報道說這里有猩猩出沒，所以無需觀測樣本數據就知道是猩猩的先驗概率（Prior Probability）較大，比如根據歷史數據估計有70%＝0.7。接着，我們得到了的觀測樣本數據：“手臂很長”──而猩猩類別表現為這種特征的類條件概率，或者說這種“可能性”即似然（Likelihood）較大，相比於人類表現為“手臂很長”的似然。所以經這次觀測之后加強了我們的判斷：是一只猩猩的后驗概率（Posterior Probability）變得比先驗概率更大，超過了之前的70%！反之，如果觀測發現這個生物的手臂不長，而猩猩類別表現為“手臂不長”的似然較小，則會減弱我們的判斷，是猩猩的后驗概率將小於70%。因此，后驗概率包含了先驗信息以及觀測樣本數據提供的后驗信息，對先驗概率進行了修正，更接近真實情況。此外，證據因子（Evidence，也被稱為歸一化常數）可僅看成一個權值因子，以保證各類別的后驗概率總和為1從而滿足概率條件。
如果我們的目標僅僅是要對所屬類別作出一個判別：是“猩猩”還是“人類”，則無需去計算后驗概率的具體數值，只需計算哪個類別的后驗概率更大即可。假設猩猩和人類出現的先驗概率相等，，則此時類別的判定完全取決於似然和的大小。因此， 似然函數（ Likelihood：“可能性”）的重要性不是它的具體取值，而是當參數（如類別參數）變化時，函數到底變小還是變大，以便反過來對參數進行估計求解（估計出是還是）。
圖片很多沒有顯示，見原文:http://www.sigvc.org/why/book/3dp/chap10.8.1.htm
先驗概率、后驗概率與似然估計
先驗概率、后驗概率與似然估計
本文假設大家都知道什么叫條件概率了（P(A|B)表示在B事件發生的情況下，A事件發生的概率）。
先驗概率和后驗概率
教科書上的解釋總是太繞了。其實舉個例子大家就明白這兩個東西了。
假設我們出門堵車的可能因素有兩個（就是假設而已，別當真）：車輛太多和交通事故。
堵車的概率就是先驗概率 。
那么如果我們出門之前我們聽到新聞說今天路上出了個交通事故，那么我們想算一下堵車的概率，這個就叫做條件概率 。也就是P(堵車|交通事故)。這是有因求果。
如果我們已經出了門，然后遇到了堵車，那么我們想算一下堵車時由交通事故引起的概率有多大，
那這個就叫做后驗概率 （也是條件概率，但是通常習慣這么說）。也就是P(交通事故|堵車)。這是有果求因。
下面的定義摘自百度百科：
先驗概率是指根據以往經驗和分析得到的概率,如全概率公式,它往往作為"由因求果"問題中的"因"出現.
后驗概率是指依據得到"結果"信息所計算出的最有可能是那種事件發生,如貝葉斯公式中的,是"執果尋因"問題中的"因".
那么這兩個概念有什么用呢？
最大似然估計
我們來看一個例子。
有一天，有個病人到醫院看病。他告訴醫生說自己頭痛，然后醫生根據自己的經驗判斷出他是感冒了，然后給他開了些葯回去吃。
有人肯定要問了，這個例子看起來跟我們要講的最大似然估計有啥關系啊。
關系可大了，事實上醫生在不知不覺中就用到了最大似然估計（雖然有點牽強，但大家就勉為其難地接受吧^_^）。
怎么說呢？
大家知道，頭痛的原因有很多種啊，比如感冒，中風，腦溢血...（腦殘>_<這個我可不知道會不會頭痛，還有那些看到難題就頭痛的病人也不在討論范圍啊！）。
那么醫生憑什么說那個病人就是感冒呢？哦，醫生說這是我從醫多年的經驗啊。
咱們從概率的角度來研究一下這個問題。
其實醫生的大腦是這么工作的，
他計算了一下
P(感冒|頭痛)（頭痛由感冒引起的概率，下面類似）
P(中風|頭痛)
P(腦溢血|頭痛)
...
然后這個計算機大腦發現，P(感冒|頭痛)是最大的，因此就認為呢，病人是感冒了。看到了嗎？這個就叫最大似然估計（Maximum likelihood estimation，MLE） 。
咱們再思考一下，P(感冒|頭痛)，P(中風|頭痛)，P(腦溢血|頭痛)是先驗概率還是后驗概率呢？
沒錯，就是后驗概率。看到了吧，后驗概率可以用來看病（只要你算得出來，呵呵）。
事實上，后驗概率起了這樣一個用途，根據一些發生的事實（通常是壞的結果），分析結果產生的最可能的原因，然后才能有針對性地去解決問題。
那么先驗概率有啥用呢？
我們來思考一下，P(腦殘|頭痛)是怎么算的。
P(腦殘|頭痛)=頭痛的人中腦殘的人數/頭痛的人數
頭痛的樣本倒好找，但是頭痛的人中腦殘的人數就不好調查了吧。如果你去問一個頭痛的人你是不是腦殘了，我估計那人會把你拍飛吧。
接下來先驗概率就派上用場了。
根據貝葉斯公式 ，
P(B|A)=P(A|B)P(B)/P(A)
我們可以知道
P(腦殘|頭痛)=P(頭痛|腦殘)P(腦殘)/P(頭痛)
注意，(頭痛|腦殘)是先驗概率，那么利用貝葉斯公式我們就可以利用先驗概率把后驗概率算出來了。
P(頭痛|腦殘)=腦殘的人中頭痛的人數/腦殘的人數
這樣只需要我們去問腦殘的人你頭痛嗎，明顯很安全了。
（你說腦殘的人數怎么來的啊，那我們就假設我們手上有一份傳說中的腦殘名單吧。那份同學不要吵，我沒說你在名單上啊。
再說調查腦殘人數的話咱就沒必要抓着一個頭痛的人問了。起碼問一個心情好的人是否腦殘比問一個頭痛的人安全得多）
我承認上面的例子很牽強，不過主要是為了表達一個意思。后驗概率在實際中一般是很難直接計算出來的，相反先驗概率就容易多了。因此一般會利用先驗概率來計算后驗概率。
似然函數與最大似然估計
下面給出似然函數跟最大似然估計的定義。
我們假設f是一個概率密度函數，那么
是一個條件概率密度函數（θ 是固定的）
而反過來，
叫做似然函數 （x是固定的）。
一般把似然函數寫成
θ是因變量。
而最大似然估計 就是求在θ的定義域中，當似然函數取得最大值時θ的大小。
意思就是呢，當后驗概率最大時θ的大小。也就是說要求最有可能的原因。
由於對數函數不會改變大小關系，有時候會將似然函數求一下對數，方便計算。
例子：
我們假設有三種硬幣，他們扔到正面的概率分別是1/3，1/2，2/3。我們手上有一個硬幣，但是我們並不知道這是哪一種。因此我們做了一下實驗，我們扔了80次，有49次正面，31次背面。那么這個硬幣最可能是哪種呢？我們動手來算一下。這里θ的定義域是{1/3，1/2，2/3}
當p=2/3時，似然函數的值最大，因此呢，這個硬幣很可能是2/3。
原文：http://hi.baidu.com/hi9394/item/5953948a4a2365cab0715407