貝葉斯決策論

在【前一個例子】中已經舉例說明了如何用貝葉斯公式計算后驗概率，然后依據后驗概率來做決策。

1、什么是行為？

但是，有時候，后驗概率本身只能說明具有特征x的樣本屬於ω_i類的可能性有多少，卻沒能表示如果將樣本分到ω_i類時的代價有多大。

在此，引入行為的概念。

分類器的設計初衷很簡單，就是進行“分類”這一動作。假設現在來了一個具有特征x的樣本，如果將“把樣本分入ω_i類”這一行為記為動作a_i的話，我們將有不少於類別種類（假設有c類）的行為（因為除了將樣本分入不同類別外，還可能拒絕作出判斷，因此動作集的大小一般大於類別種類）。

2、什么是風險？

為方便說明，令{ω₁,...,ω_c}表示有限個類別集，{a₁,...,a_a}表示有限的a中可能采取的動作集，風險函數λ(a_i|ω_j)描述類別狀態為ω_j時采取行動a_i所產生的風險。（行為導致風險，不同的行為也會使風險的大小不同）

3、什么是損失函數？

已知使用【貝葉斯公式】可以通過先驗概率P(ω_j)、概率密度函數（似然函數）p(x|ω_j)以及證據因子p(x)可以求出后驗概率P(ω_j|x)：

假設，樣本具有特征值x，並且我們將采取a_i行動，而樣本的真是歸屬類別為ω_j，那么將可能造成損失λ(a_i|ω_j)，而貝葉斯公式求出的后驗概率P(ω_j|x)表示了特征值為x時，樣本屬於類別ω_j的概率，因此，與行為a_i相關的損失為：

R(a_i|x)稱為與行為a_i相關的損失函數。計算損失函數可以展開為以下步驟：

step 1：通過將特征值、似然函數、先驗概率帶入貝葉斯公式，求出具有特征值x的樣本分屬各個不同類別的可能性（后驗概率）。

step 2：將樣本屬於各個不同類別的可能性乘上將樣本誤判到這一類別所需付出的代價。

step 3：將step2的結果相加即可得出對具有特征值x的樣本進行a_i操作所可能產生的損失。

顯然，要計算損失函數，則先驗概率、似然函數、風險函數都必須是已知的。

注意，風險函數是λ(a_i|ω_j)，損失函數（也稱條件風險）是R(a_i|x)，兩者是不同的。

4、什么是貝葉斯決策規則？

     為了最小化總風險，對所有的i=1,...,a計算條件風險R(a_i|x)，並選擇行為a_i使R(a_i|x)最小化。最小化后的總風險值稱為貝葉斯風險，記為R^*，它是可獲得的最優風險。那么，為什么貝葉斯決策規則所得出的風險是最小的呢？

     假設判決規則為函數a(x)，它用來說明對於特征值x應采取哪種行為(即，a₁,...,a_a中選擇哪個行為)。如果有一種規則，使得損失函數R(a_i|x)對每個特征值x都盡可能的小，那么對所有可能出現的特征值x，總風險將會降到最小。

     而這一理想的規則就是貝葉斯決策：

“對所有的i=1,...,a計算條件風險R(a_i|x)，並選擇行為a_i使R(a_i|x)最小化”

     通俗的說，就是對特征值x，計算所有行為所導致的損失們（即把R(a₁|x),...,R(a_a|x)都算出來），然后從中選擇損失最小的一個a_k作為結果，這樣對於每個樣本，都可以做的損失最小。假設有一批樣本，其中的每一個都做到損失最小的話，對這一批樣本而言，總體的損失就是最小的了。

     不過這是一種非常理想的情況，通常是沒有那么多已知條件的（實際情況中很少出現如此理想的情況）。不過貝葉斯決策理論倒是為我們提供了一個與其他分類器做對比的評價依據，也就是說貝葉斯決策很多情況下是作為對比對象而存在的。