【模式識別與機器學習】——3.1線性判別函數

3.1線性判別函數

3.1.1兩類問題的判別函數

（1）以二維模式樣本為例

（2）用判別函數進行模式分類依賴的兩個因素

① 判別函數的幾何性質：線性的和非線性的函數。 線性的是一條直線； 非線性的可以是曲線、折線等； 線性判別函數建立起來比較簡單（實際應用較多）； 非線性判別函數建立起來比較復雜。

② 判別函數的系數：判別函數的形式確定后，主要就是確定判別函數的系數問題。 只要被研究的模式是可分的，就能用給定的模式樣本集來確定判別函數的系數。

3.1.2  n維線性判別函數的一般形式

（1）一個n維線性判別函數的一般形式：

 

（2）兩類情況：判別函數d(x)

 

（3）多類情況：

設模式可分成ω1, ω2,…, ωM共M類，則有三種划分方法

① 多類情況1:

問題描述：用線性判別函數將屬於ω_i類的模式與不屬於ω_i類的模式分開，

其判別函數為：

        i = 1, 2, …, M

這種情況稱為兩分法，即把M類多類問題分成M個兩類問題，因此共有M個判別函數，對應的判別函數的權向量為w_i, i = 1, 2, …, M。

圖例：對一個三類情況，每一類模式可用一個簡單的直線判別界面將它與其它類模式分開。例如，對的模式，應同時滿足：d₁(x)>0，d₂(x)<0，d₃(x)<0

不確定區域：若對某一模式區域，d_i(x)>0的條件超過一個，或全部d_i(x)<0，i = 1, 2, …, M，則分類失敗，這種區域稱為不確定區域(IR)。

示例1：設有一個三類問題，其判別式為：

　　　　d₁(x)= -x₁ + x₂，d₂(x)= x₁ + x₂ - 5，d₃(x)= -x₂ + 1

則對一個模式x=(6, 5)^T，判斷其屬於哪一類。將x=(6, 5)^T代入上述判別函數，得：

　　　　d₁(x) = -1，故d₁(x)<0

　　　　d₂(x) = 6，故d₂(x)>0

　　　　d₃(x) = -4，故d₃(x)<0

從而

示例2：假若x=(3, 5)^T，則

　　　　d₁(x) = 2>0

　　　　d₂(x) = 3>0

　　　　d₃(x) = -2<0

分類失敗。

② 多類情況2

問題描述：采用每對划分，即ω_i/ω_j兩分法，此時一個判別界面只能分開兩種類別，但不能把它與其余所有的界面分開。

其判別函數為：

　　　　　　    若d_ij(x)>0，，則重要性質：d_ij = -d_ji

圖例：對一個三類情況，d₁₂(x)=0僅能分開ω₁和ω₂類，不能分開ω₁和ω₃類。

若要分開M類模式，共需M(M-1)/2個判別函數。

不確定區域：若所有d_ij(x)，找不到，d_ij(x)>0的情況。

示例 1：設有一個三類問題，其判別函數為：

　　　　d₁₂(x)= -x₁ - x₂ + 5，d₁₃(x)= -x₁ + 3，d₂₃(x)= -x₁ + x₂

若x=(4, 3)^T，則：d₁₂(x) = -2，d₁₃(x) = -1，d₂₃(x) = -1

有：

　　　

從而

示例2：若x=(2.8, 2.5)^T，則：d₁₂(x) = -0.3，d₁₃(x) = 0.2，d₂₃(x) = -0.3

有：

　　　　

分類失敗。

 

③ 多類情況3

這是沒有不確定區域的ω_i/ω_j兩分法。假若多類情況2中的d_ij可分解成：d_ij(x) = d_i(x) - d_j(x) = (w_i – w_j)^Tx，則d_ij(x)>0相當於d_i(x)>d_j(x)，這時不存在不確定區域。

此時，對M類情況應有M個判別函數：

　　　　　　

 即d_i(x)>d_j(x)，，i, j = 1,2,…,M則該分類的特點是把M類情況分成M-1個兩類問題。

示例 1：設有一個三類問題的模式分類器，其判別函數為：

　　　　d₁(x)= -x₁ + x₂，d₂(x)= x₁ + x₂ - 1，d₃(x)= -x₂

屬於ω₁類的區域應滿足d₁(x)>d₂(x)且d₁(x)>d₃(x)，ω₁類的判別界面為：

　　　　d₁₂(x)= d₁(x)-d₂(x) = -2x₁ + 1 = 0

　　　　d₁₃(x)= d₁(x)-d₃(x) = -x₁ + 2x₂ = 0

屬於ω₂類的區域應滿足d₂(x)>d₁(x)且d₂(x)>d₃(x)，ω₂類的判別界面為：

　　　　d₂₁(x)= d₂(x)-d₁(x) = 2x₁ - 1 = 0，可看出d₂₁(x)=-d₁₂(x)

　　　　d₂₃(x)= d₂(x)-d₃(x) = x₁ + 2x₂ - 1= 0

屬於ω₂類的區域應滿足d₃(x)>d₁(x)且d₃(x)>d₂(x)，ω₃類的判別界面為：

　　　　d₃₁(x) = -d₁₃(x) = x₁ - 2x₂ = 0

　　　　d₃₂(x) = -d₂₃(x) = -x₁ - 2x₂ + 1= 0

【示例】

若有模式樣本x=(1, 1)^T，則：d₁(x) = 0，d₂(x) = 1，d₃(x) = -1

從而：d₂(x)>d₁(x)且d₂(x)>d₃(x)，故

小結：

　　線性可分 模式分類若可用任一個線性函數來划分，則這些模式就稱為線性可分的，否則就是非線性可分的。 一旦線性函數的系數wk被確定，這些函數就可用作模式分類的基礎。

 

　　多類情況1和多類情況2的比較 對於M類模式的分類，多類情況1需要M個判別函數，而多類情況2需要M*(M-1)/2個判別函數，當M較大時，后者需要更多的判別式（這是多類情況2的一個缺點）。 采用多類情況1時，每一個判別函數都要把一種類別的模式與其余M-1種類別的模式分開，而不是將一種類別的模式僅與另一種類別的模式分開。 由於一種模式的分布要比M-1種模式的分布更為聚集，因此多類情況2對模式是線性可分的可能性比多類情況1更大一些（這是多類情況2的一個優點）。