生成式模型 P(X,Y)
對聯合概率進行建模，從統計的角度表示數據的分布情況，刻畫數據是如何生成的，收斂速度快。
• 1. 判別式分析
• 2. 朴素貝葉斯Native Bayes
• 3. 混合高斯型Gaussians
• 4. K近鄰KNN
• 5. 隱馬爾科夫模型HMM
• 6. 貝葉斯網絡
• 7. sigmoid 信念網
• 8. 馬爾科夫隨機場Markov random fields
• 9. 深度信念網絡DBN
• 10. 隱含狄利克雷分布簡稱LDA(Latent Dirichlet allocation)
• 11. 多專家模型（the mixture of experts model）
• 12.受限玻爾茲曼機（ RBM）
• 13.深度玻爾茲曼機（DBM）
• 14.廣義除噪自編碼器（GDA）
• 15.生成對抗網絡（GAN）
• 16.變分自編碼器（VAE）
• 17.自回歸模型（AR）
判別式模型 P(Y|X)
對條件概率P(Y|X)進行建模，不關心數據如何生成，主要是尋找不同類別之間的最優分類面。
• 1. 線性回歸linear regression
• 2. 邏輯回歸logic regression
• 3. 神經網絡NN
• 4. 支持向量機SVM
• 5. 高斯過程Gaussian process
• 6. 條件隨機場CRF
• 7. 決策樹（CART）
• 8. Boosting
• 9.感知機 (線性分類模型)
• 10.k近鄰法
• 11.傳統神經網絡（CNN,RNN）
• 12.最大熵模型（ME）
• 13.區分度訓練