判別式模型與生成式模型的區別

產生式模型(Generative Model)與判別式模型(Discrimitive Model)是分類器常遇到的概念，它們的區別在於：

對於輸入x，類別標簽y：
產生式模型估計它們的聯合概率分布P(x,y)
判別式模型估計條件概率分布P(y|x)

產生式模型可以根據貝葉斯公式得到判別式模型，但反過來不行。

判別式模型常見的主要有：

　　　　Logistic Regression

　　　　SVM

　　　　Traditional Neural Networks

　　　　Nearest Neighbor

　　　　CRF

　　　　Linear Discriminant Analysis

　　　　Boosting

　　　　Linear Regression

產生式模型常見的主要有：                    

       Gaussians

       Naive Bayes

       Mixtures of Multinomials

       Mixtures of Gaussians

       Mixtures of Experts

       HMMs

　　Sigmoidal Belief Networks, Bayesian Networks

　　Markov Random Fields

　　Latent Dirichlet Allocation

兩個模型的對比