1、生成模型和判別模型的定義
對於輸入數據集X，輸出類別Y，生成模型和判別模型可以這樣定義
判別模型：由數據集直接學習決策函數y = f(x) 或者條件概率分布P(y|x) 作為預測的模型（決策函數事實上是可以用條件概率表示的，例如在邏輯回歸中的決策函數和轉換成條件概率），這樣的模型稱為判別模型。基本思想就是在有限樣本條件下建立判別函數，不考慮樣本的產生模型，直接研究預測模型。典型的判別模型包括K近鄰，感知機，決策樹，支持向量機等。
生成模型：由數據學習聯合概率密度分布P(x, y)，然后求出條件概率分布P(y|x)作為預測的模型。即生成模型：P(y|x) = P(x, y)/P(x)。典型的生成模型包括朴素貝葉斯，高斯混合模型，隱馬爾科夫模型等。
2、生成模型和判別模型的優缺點
判別模型：判別模型是尋找不同類別之間的最優分類面，反映的是異類數據之間的差異。判別模型不能反映數據本身的特性。但是判別模型簡單易懂，而且可以對數據進行各種抽象、定義特征並使用特征，可以簡化學習問題。
生成模型：生成模型能反映數據之間的關系，而且可以做增量學習，生成模型的學習收斂速度更快，而且對於存在隱變量的問題，仍可以使用生成模型（如隱馬爾科夫，混合高斯模型等）。但是生成模型學習和計算過程更加復雜。