【模式識別與機器學習】——2.2正態分布模式的貝葉斯分類器

出發點：

　　當已知或者有理由設想類概率密度函數P(x|ωi )是多變量的正態分布時，上一節介紹的貝葉斯分類器可以導出一些簡單的判別函數。 由於正態密度函數易於分析，且對許多重要的實際應用又是一種合適的模型，因此受到很大的重視。

（貝葉斯分類規則是基於統計概念的。 如果只有少數模式樣本，一般較難獲得最優的結果）

正態分布模式的貝葉斯判別函數

具有M種模式類別的多變量正態類密度函數為：

其中，每一類模式的分布密度都完全被其均值向量m_i和協方差矩陣C_i所規定，其定義為：

 

E_i{x}表示對類別屬於ω_i的模型的數學期望。

對於n維研究對象X{x1,x2,x3...}（共有N個)屬於w1或w2，他們的mi和ci可以定義為：

注：m1,c1,N1,X1j是w1的參數；m2,c2,N2,X2j是w2的參數；xij規定以列向量形式表示

正態分布模式的貝葉斯判別函數：屬於類別ω_i的判別函數

 

兩類問題且其類模式都是正態分布的特殊情況

　　由以上可知，算出d1(x)和 d2(x)，判別界面即為d1(x)- d2(x)=0，即當判別界面d1(x)- d2(x)>0時視為w1類；當判別界面d1(x)- d2(x)<0時視為w2類。

　　① 當C1≠C2時的情況 顯然，判別界面d1(x)- d2(x)=0是x的二次型方程，即ω1和ω2兩類模式可用二次判別界面分開。 當x是二維模式時，判別界面為二次曲線，如橢圓，圓，拋物線或雙曲線等。

　　② 當C1=C2 =C時的情況 判別界面為x的線性函數，為一超平面。 當x是二維時，判別界面為一直線。

兩類問題且其類模式都是正態分布的實例

模式分布如圖所示，若作為正態分布處理，且P(ω₁)=P(ω₂)=1/2，求其判別界面。

模式的均值向量m_i和協方差矩陣C_i可用下式估計：

　　其中N其中N_i為類別為類別ω_i中模式的數目，x中模式的數目，x_ij代表在第i個類別中的第j個模式。由上式可求出：

設P(ω₁)=P(ω₂)=1/2，因C₁=C₂，則判別界面為：（記住這個公式和其使用的特殊條件，以簡化計算）

M種模式類別的多變量正態類密度函數

　　判別函數是一個超二次曲面。 對於正態分布模式的貝葉斯分類器，兩個模式類別之間用一個二次判別界面分開，就可以求得最優的分類效果。