圖中，x表示單個樣本，c表示預測的類別
參考知乎
- 概率與似然
- 用貝葉斯 計算后驗概率
- 機器學習-周志華
一、先驗概率，條件概率與后驗概率
先驗概率是基於背景常識或者歷史數據的統計得出的預判概率，一般只包含一個變量，例如
，
。
條件概率是表示一個事件發生后另一個事件發生的概率，例如
代表
事件發生后
事件發生的概率。
后驗概率是由果求因，也就是在知道結果的情況下求原因的概率，例如Y事件是X引起的，那么
就是后驗概率，也可以說它是事件發生后的反向條件概率。
- 先驗概率是由以往的數據分析得到的，而在得到信息后再重新加以修正的概率叫后驗概率；
- 后驗概率是反向條件概率，如果條件概率是有因求果，那么后驗概率就是有果求因；
二、似然
概率模型的訓練過程就是參數估計過程。（即估計事件發生的概率）
對於參數估計，統計學界的兩個流派分別提供了不同的解決方案：
頻率學派認為事件發生的概率是一個確定的值， 但是這個取值我們不知道。 我們可以通過t test 或者 p 值估計這個取值的范圍。
貝葉斯學派認為事件的概率是一個分布， 我們通過觀測到的數據對這一分布進行更新，從而得到更為准確的估計。
- 頻率學派方案為：通過優化似然函數等准則來確定參數值（即未知的固定值）
極大似然估計 MLE
三、生成式模型與判別式模型
機器學習所要實現的是基於有限樣本集盡可能准確地估計出后驗概率 P(c | x)
大體來說，主要有兩種策略：
- 給定x，通過直接建模P(c | x)來預測 c，這樣得到的是“判別式模型”，例如：決策樹、BP神經網絡、SVM；
- 也可先對聯合概率分布 P(x, c)建模，然后求得 P(c | x)，這樣得到的是“生成式模型”，例如：NB、HMM；
對於生成式模型，必然考慮
注： P(x)對所有類標記均相同