預習筆記
MED分類器
- 基於歐式距離的分類器，歐式距離 \(d(x1,x2)=(x2-x1)^{T}*(x2-x1)\)
- 判別方法： \((x-μ_{1})^{T}(x-μ_{1})<(x-μ_{2})^{T}(x-μ_{2})? C1類 : C2類\)
- 受特征的量綱、分布不同的影響，易導致分類錯誤，一般不直接用歐式距離進行分類
MICD分類器
- 基於馬氏距離的分類器，馬氏距離 \(d(x1,x2)=(x2-x1)^{T}Σ_{x}^{-1}(x2-x1)\)
- 判別方法：\((x-μ_{1})^{T}Σ_{x}^{-1}(x-μ_{1})<(x-μ_{2})^{T}Σ_{x}^{-1}(x-μ_{2})?C1類：C2類\)
- 針對歐式距離出現的問題，對特征進行解耦與白化，轉化后的點間距離為馬氏距離
- 消除了特征間的相關性並使特征具有相同方差，從而使其不受量綱和分布的影響，提高分類准確度
- 但在距離相等時，傾向於歸於方差較大的類
復習筆記
MED分類器
類的原型
用來代表這個類的一個模式或者一組量，便於計算該類和測試樣本之間的距離。
均值
最近鄰
幾種常見的距離度量
MED分類器
- 概念:最小歐式距離分類器(Minimum Euclidean Distance Classifier)
- 距離衡量:歐式距離
- 類的原型:均值
- 決策邊界: $ (x-μ_{1})^{T} (x-μ_{1}) - (x-μ_{2})^{T} (x-μ_{2}) = 0 $
- 判別公式: \((x-μ_{1})^{T}(x-μ_{1})<(x-μ_{2})^{T}(x-μ_{2})? C1類 : C2類\)
- 缺陷：易受特征量綱和分布的影響
特征白化
令W=W1W2，目標使 $ W Σ_{x} W^{T} = I $
解耦
通過W1實現協方差矩陣對角化,去除特征之間的相關性。
白化
通過W2對上一步變換后的特征再進行尺度變換,實現所有特征具有相同方差。
馬氏距離
MICD分類器
- 最小類內距離分類器(Minimum Intra-class DistanceClassifier)，基於馬氏距離的分類器。
- 距離度量:馬氏距離
- 類的原型:均值
- 決策邊界:\((x-μ_{1})^{T}Σ_{x}^{-1}(x-μ_{1})-(x-μ_{2})^{T}Σ_{x}^{-1}(x-μ_{2})=0\)
- 判別公式:\((x-μ_{1})^{T}Σ_{x}^{-1}(x-μ_{1})<(x-μ_{2})^{T}Σ_{x}^{-1}(x-μ_{2})?C1類：C2類\)
- 缺陷:均值相同時，會選擇方差較大的類