（本文為原創學習筆記，主要參考《模式識別（第三版）》（張學工著，清華大學出版社出版））
1.概念
將分類看做決策，進行貝葉斯決策時考慮各類的先驗概率和類條件概率，也即后驗概率。考慮先驗概率意味着對樣本總體的認識，考慮類條件概率是對每一類中某個特征出現頻率的認識。由此不難發現，貝葉斯決策的理論依據就是貝葉斯公式。
2.理論依據
2.1 最小錯誤率貝葉斯決策
貝葉斯決策的基本理論依據就是貝葉斯公式（式1），由總體密度P(E)、先驗概率P(H)和類條件概率P(E|H)計算出后驗概率P(H|E)，判決遵從最大后驗概率。這種僅根據后驗概率作決策的方式稱為最小錯誤率貝葉斯決策，可以從理論上證明這種決策的平均錯誤率是最低的。另一種方式是考慮決策風險，加入了損失函數，稱為最小風險貝葉斯決策。
……（式1）
【證明】最小錯誤率貝葉斯決策的平均錯誤率最低
以二分類問題為例，對於樣本x的決策錯誤率如式2：
……（式2）
更進一步得到式3：
……（式3）
將決策的錯誤率看做服從同樣分布的樣本的理論錯誤率的期望，也即：
……（式4）
通過式3和式4得出，最小錯誤率意味着每一個決策都必須遵從最大后驗概率。而最小錯誤率貝葉斯決策的判決方式就是遵從最大后驗概率。
【證明完畢】
2.2 最小風險貝葉斯決策
前文論述了最小錯誤率貝葉斯決策的理論依據，並且證明了最小錯誤率的由來。接下來說明最小風險貝葉斯決策的理論依據。
決策往往意味着風險，這是實際決策中的常見情形。在做出風險性決策時尤為需要考慮風險，比如巨額投資的決策，如果采取激進策略可能會帶來巨額損失，而保守策略就不會有風險。各種決策的風險可以用決策表表示，如表1。假設ω1表示虧損，α1表示保守決策；ω2表示盈利，α2表示激進決策。如果預測對了自然不會帶來風險，但是如果做出了激進決策，可是接下來卻是虧損狀態，那這個決策具有較大的風險，因此給定風險值5；而在做出保守決策后出現盈利狀態也會帶來一定的風險，但不至於虧損本金，因此給定風險值1。
（表1 決策表）
為了實現最小風險貝葉斯決策，在判決函數中加入損失函數（式5）。
……（式5）
式5表示將j類誤判為i類的損失，c為類數。由λ構成一個c×c的損失矩陣，也即表示決策表。
最小風險貝葉斯決策的判決函數為：
……（式6）
3.貝葉斯決策的一般過程
（1）估計先驗概率：①根據實際情況做經驗估計；②根據樣本分布的頻率估計概率。
（2）計算類條件概率密度：①參數估計：類條件概率分布類型已知，參數未知，通過訓練樣本來估計（最大似然法、Bayes估計）；②非參數估計：不判斷類條件概率分布類型，直接根據訓練樣本來估計（Parzen窗、kn-近鄰法）。
（3）計算后驗概率。
（4-1）若進行最小錯誤率決策，根據后驗概率即可作出決策。
（4-2）若進行最小風險決策，按照式6計算即可。
4. ROC曲線
ROC曲線全稱為受試者工作特征曲線 （receiver operating characteristic curve），以特異度為橫軸、敏感度為縱軸繪制，用來評價一種分類方法或者評價多種分類方法的優劣，越貼近左上角，則這種分類方法性能越好。
5. MATLAB實現一維二分類最小錯誤率貝葉斯決策
具體編程實現時，只需要按照3中的貝葉斯決策的一般過程就能實現。我在實現時采用樣本的頻率估計先驗概率，采用高斯分布假設、最大似然法估計參數確定類條件概率密度。數據是來自班上男女同學的身高，實現根據身高判斷性別。直接貼圖。
（圖1 一維二分類最小錯誤率貝葉斯決策類條件概率密度曲線）
（圖2 一維二分類最小錯誤率貝葉斯決策實驗輸出）
（圖3 一維二分類最小錯誤率貝葉斯決策ROC曲線）
6. MATLAB實現二維二分類最小錯誤率貝葉斯決策
（圖4 二維二分類最小錯誤率貝葉斯決策類條件概率密度）
（圖5 二維二分類最小錯誤率貝葉斯決策實驗輸出）
（圖6 二維二分類最小錯誤率貝葉斯決策ROC曲線）
7. MATLAB實現一維二分類最小錯誤率貝葉斯決策（使用Parzen窗非參數估計確定類條件概率密度）
比較圖7和圖1可以看出，由參數估計方法得到的類條件概率密度曲線是光滑的高斯分布，而Parzen窗非參數估計方法得到的類條件概率密度曲線是並不光滑，但是也接近於高斯分布，由此也可以看出大數定理是有道理的。
（圖7 一維二分類最小錯誤率貝葉斯決策（使用Parzen窗非參數估計確定類條件概率密度）類條件概率密度）
（圖8 一維二分類最小錯誤率貝葉斯決策（使用Parzen窗非參數估計確定類條件概率密度）實驗輸出）
（圖9 一維二分類最小錯誤率貝葉斯決策（使用Parzen窗非參數估計確定類條件概率密度）ROC曲線）
8. MATLAB實現二維二分類最小風險貝葉斯決策
為了防止把男同胞誤認為女生，我設置了如圖表10所示的決策表，把男生判為女生的風險為5，女生判為男生的風險為1。
注意觀察比較圖12和圖5，對於同樣的測試樣本集，在考慮最小風險時沒有男生被誤判，但是女生的錯誤率明顯升高，這就是最小錯誤率和最小風險的區別。
（圖10 二維二分類最小風險貝葉斯決策的決策表）
（圖11 二維二分類最小風險貝葉斯決策類條件概率密度）
（圖12 二維二分類最小風險貝葉斯決策實驗輸出）
（圖13 二維二分類最小風險貝葉斯決策ROC曲線）
9. 致謝
以上內容根據上海大學計算機工程與科學學院《模式識別》課程實驗內容整理而成，相關理論參考了張學工著《模式識別（第三版）》。在此尤為感謝方昱春老師的授課與實驗指導！同時感謝段同學對於某函數參數的幫助！