判別式模型（Discriminative Model）是直接對條件概率p(y|x;θ)建模。常見的判別式模型有 線性回歸模型、線性判別分析、支持向量機SVM、神經網絡等。
生成式模型（Generative Model）則會對x和y的聯合分布p(x,y)建模，然后通過貝葉斯公式來求得p(yi|x)，然后選取使得p(yi|x)最大的yi
常見生成式模型:
混合高斯模型，估計了不同輸入和類別的聯合分布。
朴素貝葉斯，模型訓練時采用聯合概率分布積。
隱馬爾科夫模型，建立了狀態序列和觀察序列的聯合分布。
貝葉斯網絡，概率圖模型中的有向圖網絡，對聯合分布建模，由各自局部條件概率分布相乘。
馬爾科夫隨機場，概率圖模型中無向圖網絡，同樣對聯合分布建模，分解為極大團上勢函數的乘積。
常見判別式模型:
條件隨機場，在觀測序列上對目標序列進行建模。
線性回歸，在X的條件下Y的分布。
邏輯回歸，在x的條件下兩個分類的概率。
支持向量機，它的訓練過程是在學習分類邊界。
傳統神經網絡，同樣是學習分類邊界。
一個通俗的例子：
說是大飛哥要玩擲飛鏢的游戲，飛鏢偏離靶心的偏離其實是不確定的，所以適合用概率模型來描述。概率就是衡量可能性的指標。飛鏢偏離靶心小於1厘米的概率，和風速，標靶距離都有關系。假定標靶距離可以是10到20米，風速可以是1米/秒到10米/秒，我們可以把每個距離下，每個風速情況下的偏離小於1厘米的概率，大於1厘米的概率整理成一個表格，就是距離與風速的聯合概率分布。如下表所示：
所謂條件概率，即有條件的聯合概率，比如，如果風速確定為1不變，那么偏離小於1厘米的概率就只和距離有關系了。如距離為10時，概率為99%和1%。這就是條件概率（風速是條件）
生成式特點:
對聯合概率建模，學習所有分類數據的分布。
學習到的數據本身信息更多，能反應數據本身特性。
學習成本較高，需要更多的計算資源。需要的樣本數更多，樣本較少時學習效果較差。
推斷時性能較差。
一定條件下能轉換成判別式。
判別式特點:
對條件概率建模，學習不同類別之間最優邊界。
捕捉不同類別特征的差異信息，不學習本身分布信息，無法反應數據本身特性。
學習成本較低，需要的計算資源較少。
需要的樣本數可以較少，少樣本也能很好學習。
預測時擁有較好性能。無法轉換成生成式。