判別式模型(Discriminative Model)是直接對條件概率p(y|x;θ)建模。常見的判別式模型有線性回歸模型、線性判別分析、支持向量機SVM、神經網絡、boosting、條件隨機場等。
舉例:要確定一個羊是山羊還是綿羊,用判別模型的方法是從歷史數據中學習到模型,然后通過提取這只羊的特征來預測出這只羊是山羊的概率,是綿羊的概率。
生成式模型(Generative Model)則會對x和y的聯合分布p(x,y)建模,然后通過貝葉斯公式來求得p(yi|x),然后選取使得p(yi|x)最大的yi,即:
常見的生成式模型有 隱馬爾可夫模型HMM、朴素貝葉斯模型、高斯混合模型GMM、LDA、高斯、混合多項式、專家的混合物、馬爾可夫的隨機場
舉例:利用生成模型是根據山羊的特征首先學習出一個山羊的模型,然后根據綿羊的特征學習出一個綿羊的模型,然后從這只羊中提取特征,放到山羊模型中看概率是多少,在放到綿羊模型中看概率是多少,哪個大就是哪個。