生成模型（Generative Model）Vs 判別模型（Discriminative Model）

 

      概率圖分為有向圖（bayesian network）與無向圖（markov random filed）。在概率圖上可以建立生成模型或判別模型。有向圖多為生成模型，無向圖多為判別模型。

 

      判別模型（Discriminative Model），又可以稱為條件模型，或條件概率模型。估計的是條件概率分布(conditional distribution)，p(class|context)。利用正負例和分類標簽，主要關心判別模型的邊緣分布。其目標函數直接對應於分類准確率。 （判別模型多數放在分類）

      主要特點：尋找不同類別之間的最優分類面，反映的是異類數據之間的差異。

      優點：（1）分類邊界更靈活，比使用純概率方法或生產模型得到的更高級；（2）能清晰的分辨出多類或某一類與其他類之間的差異特征；（3）在聚類、視角變化、部分遮擋、尺度改變等方面效果較好；（4）適用於較多類別的識別；（5）判別模型的性能比生成模型要簡單，比較容易學習。

      缺點：（1）不能反映訓練數據本身的特性，即能力有限，可以告訴你的是1還是2，但沒有辦法把整個場景描述出來；（2）缺少生成模型的優點，即先驗結構的不確定性；（3）黑盒操作，即變量間的關系不清楚，不可視。

      常見的主要有：logistic regression、SVMs、traditional neural networks、Nearest neighbor、Conditional random fields。

      主要應用：Image and document classification、Biosequence analysis、Time series prediction。

    生成模型（Generative Model），又叫產生式模型。估計的是聯 合概率分布（joint probability distribution），p(class, context)= p(class|context)*p(context)。用於隨機生成的觀察值建模，特別是在給定某些隱藏參數情況下。在機器學習中，或用於直接對數據建模（用概率密度函數對觀察到的樣本數據建模），或作為生成條件概率密度函數的中間步驟。通過使用貝葉斯規則可以從生成模型中得到條件分布。如果觀察到的數據是完全由生成模型所生成的，那么就可以擬合生成模型的參數，從而僅可能的增加數據相似度。但數據很少能由生成模型完全得到，所以比較准確的方式是直接對條件密度函數建模，即使用分類或回歸分析。與描述模型的不同是，描述模型中所有變量都是直接測量得到。

 

 

所以生成模型和判別模型的主要區別在於：添加了先驗概率

 即：生成模型：p(class, context)=p(class|context)*p(context)

判別模型： p(class|context) 

 

 

     主要特點：（1）一般主要是對后驗概率建模，從統計的角度表示數據的分布情況，能夠反映同類數據本身的相似度；（2）只關注自己的類本身（即點左下角區域內的概率），不關心到底決策邊界在哪。

      優點：（1）實際上帶的信息要比判別模型豐富；（2）研究單類問題比判別模型靈活性強；（3）模型可以通過增量學習得到；（4）能用於數據不完整（missing data）情況；（5）很容易將先驗知識考慮進去。

      缺點：（1）容易會產生錯誤分類；（2）學習和計算過程比較復雜。

      常見的主要有：Gaussians、Naive Bayes、Mixtures of multinomials、Mixtures of Gaussians、Mixtures of experts、HMMs、Sigmoidal belief networks、Bayesian networks、Markov random fields。

      主要應用：（1）傳統基於規則的或布爾邏輯系統正被統計方法所代替；（2）醫學診斷。

      注：所列舉的生成模型也可以用判決模型的方法來訓練，比如GMM或HMM，訓練的方法有EBW(Extended Baum Welch)，或最近Fei Sha提出的Large Margin方法。

 

 

  過去的報告認為 判別模型在分類問題 上比生成表現更加好（比如Logistic Regression與Naive Bayesian的比較，再比如HMM與Linear Chain CRF的比較）。

 

當然，生成模型的圖模型也有一些難以代替的地方，比如更容易結合無標注數據做semi-or -un-supervised l earning。

 

 

 

參考：

http://blog.csdn.net/ice1020502/article/details/6055153