1.估計概率密度p(x|wi)
（1）貝葉斯決策
（2）P（wi）和p（x | wi）的估計方法
①先驗概率P（wi）估計：
用訓練數據中各類出現的頻率估計。
依靠經驗。
② 類條件概率密度函數p（x | wi）估計，2類方法：
參數估計：最大似然估計，貝葉斯估計。
非參數估計：
直方圖估計，核密度估計（Kernel Density Estimation，KDE，又名Parzen窗），Kn近鄰估計。
神經網絡方法。
（3）基於樣本的兩步貝葉斯分類器設計
step1：利用樣本集估計P（wi）和p（x | wi）
step2：貝葉斯決策（代入貝葉斯公式，比較后驗概率）
2.監督學習&參數估計
（1）監督學習&無監督學習
監督學習：已知樣本類別。參數估計和非參數估計都屬於監督學習。eg：線性回歸。
無監督學習：不知道樣本類別。eg：聚類。
（2）參數估計&非參數估計
參數估計：已知樣本類別和函數模型（假設一個模型），根據樣本估計模型中的未知參數。
非參數估計：已知樣本類別，未知函數模型（不假設模型），直接從樣本中學習估計模型。
3.參數估計理論
（1）概念
（2）參數估計的評價
①參數估計要求估計總體分布的具體參數，顯然是點估計的問題。
②評價一個估計的好壞，需要從平均和方差的角度出發分析。統計學中做了很多關於估計量性質的定義：
4.最大似然估計、貝葉斯估計、貝葉斯學習之間的關系
參考：
https://blog.csdn.net/unixtch/article/details/78556499
https://wenku.baidu.com/view/1cf9639efab069dc502201fe.html
https://blog.csdn.net/drrlalala/article/details/45533821
《模式識別-張學工》