判別模型（discriminative model）和生成模型（generative model）：預測后驗概率還是聯合概率
- 判別模型：
直接對輸入空間到輸出空間的映射h(x)做預測，或者直接對條件概率分布P(y|x)做預測
PM，SVM，NN，KNN，LR，DT
模型一般更准確
不需要預設條件
魯棒性更高
- 生成模型：
先對概率分布P(x,y)做預測，根據貝葉斯公式得到P(y|x)
GDA，NB，HMM
收斂速度一般更快
可以訓練包含隱變量的模型
需要假設的先驗分布
可以還原出聯合概率分布P(x,y)
可以還原出判別模型，但反過來不行
概率模型（probability model）和非概率模型（nonprobability model）：預測概率還是預測映射
- 非概率模型：
直接對輸入空間到輸出空間的映射h(x)做預測
PM，SVM，NN，KNN
- 概率模型：
對條件概率分布P(y|x)做預測
LR，DT，GDA，NB，HMM
參數模型（parametric model）和非參數模型（nonparametric model）：模型由訓練數據本身構成還是模型參數構成
- 參數模型：
模型中包含若干參數，訓練完成則訓練數據無用，根據模型參數預測結果
LR，PM，GDA，NB，簡單NN，HMM
需要訓練數據較少，訓練較快
需要假設空間與實際映射空間吻合
模型容易理解
不適合實際映射隱藏的情況
- 非參數模型：
模型由訓練數據本身構成
SVM，KNN，DT
需要訓練數據較多，訓練較慢
不需要假定假設空間，如果訓練集無限大可以無限逼近實際映射
訓練集小時容易過擬合
預測性能高
參考文獻：
https://blog.csdn.net/qq_39521554/article/details/79134274
https://blog.csdn.net/pandamax/article/details/78636834
https://www.cnblogs.com/zeze/p/7047630.html