模式識別與機器學習(一)

模式識別與機器學習 [國科大]

視屏鏈接

模式: 為了能夠讓機器執行和完成識別任務，必須對分類識別對象進行科學的抽象，建立它的數學模型，用以描述和代替識別對象，這種對象的描述即為模式。

模式識別系統過程：

1. 特征提取與選擇
2. 訓練學習
3. 分類識別

模式識別過程從信息層次、形態轉換上講，是由分析對象的物理空間通過特征提取轉換為模式的特征空間，然后通過分類識別轉換為輸出的類別空間。

特征提取是對研究對象本質的特征進行量測並講結果數值化或將對象分解並符號化，形成特征矢量、符號串或關系圖，產生代表對象的模式。

特征選擇是在滿足分類識別正確率的條件下，按某種准則盡量選用對正確分類識別作用較大的特征，從而用較少的特征來完成分類識別任務。

在模式采集和預處理中，一般要用到模數(A/D)轉換。A/D轉換必須注意：

1. 采樣率，必須滿足采樣定理
2. 量化等級，取決於精度要求

在數據采集過程中，一般我們會進行一些預處理過程，如

1. 去噪聲：消除或減少模式采集中的噪聲及其它干擾，提高信雜比(信噪比)
2. 去模糊：消除或減少數據圖像模糊及幾何失真，提高清晰度
3. 模式結構轉換：例如把非線性模式轉變為線性模式，以利於后續處理，等等

預處理的方法包括: 濾波，變換，編碼，歸一化等

特征提取/選擇的目的： 降低維數，減少內存消耗，使分類錯誤減小

分類: 把特征空間划分成類空間，影響分類錯誤率的因數：

1. 分類方法
2. 分類器的設計
3. 提取的特征
4. 樣本質量

模式識別的主流技術有：

1. 統計模式識別
2. 結構模式識別
3. 模糊模式識別
4. 人工神經網絡方法
5. 人工智能方法
6. 子空間法

統計模式識別直接利用各類的分布特征或隱含地利用概率密度函數、后驗概率等概念進行分類識別。基本的技術有聚類分析、判別類域代數界面法、統計決策法、最近鄰法等。

結構模式識別將對象分解為若干基本單元，即基元；其結構關系可以用字符串或圖來表示，即句子；通過對句子進行句法分析，根據文法而決定其類別。

模糊模式識別將模式或模式類作為模糊集，將其屬性轉化為隸屬度，運用隸屬函數、模糊關系或模糊推理進行分類識別。

人工神經網絡方法由大量的基本單元，即神經元互聯而成的非線性動態系統。

人工智能方法研究如何是機器具有人腦功能的理論和方法，故將人工智能中有關學習、知識表示、推理等技術用於模式識別。

子空間法根據各類訓練樣本的相關陣通過線性變換由原始模式特征空間產生各類對應的子空間，每個子空間與每個類別一一對應。

特征矢量一個分析對象的n個特征量測值分別為 \(x_1,x_2,...,x_3\)，它們構成一個n維特征矢量\(x\)，\(x = (x_1,x_2,...,x_n)^T,x\)是原對象(樣本)的一種數學抽象，用來代表原對象，即為原對象的模式。

特征空間對某對象的分類識別是對其模式，即它的特征矢量進行分類識別。各種不同取值的\(x\)的全體構成了\(n\)維空間，這個\(n\)維空間稱為特征空間，不同場合特征空間可記為 \(X^n, R^n\)或\(\Omega\)。特征矢量\(x\)便是特征空間中的一個點，所以特征矢量有時也稱為特征點。

隨機變量由於量測系統隨機因素的影響及同類不同對象的特征本身就是在特征空間散步的，同一個對象或同一類對象的某特征測值是隨機變量。由隨機分量構成的矢量稱為隨機矢量。同一類對象的特征矢量在特征空間中是按某種統計規律隨機散步的。

協方差矩陣和自相關矩陣都是對稱矩陣。設\(A\)為對稱矩陣，對任意的矢量\(x, x^TAx\)是\(A\)的二次型。若對任意的\(x\)恆有：

\[x^TAx \geq 0 \]

則稱\(A\)為非負定矩陣。協方差矩陣是非負定的。

獨立必不相關，反之不一定。

在正態分布的情況下，獨立於不相關是等價的。

聚類分析概念

聚類分析基本思想:
假設 對象集客觀存在着若干個自然類，每個自然類中個體的某些屬性具有較強的相似性。
原理 將給定模式分成若干組，每組內的模式是相似的，而組間各模式差別較大。

該方法的有效性取決於分類算法和特征點分布情況的匹配。
分類無效的情況有：

1. 特征選取不當使分類無效；
2. 特征選擇不足可能使不同類別的模式判為一類；
3. 特征選取過多可能無益反而有害，增加分析負擔並使分析效果變差；
4. 量綱選擇不當。

聚類分析過程：

1. 特征提取
2. 模式相似性度量
3. 點與類之間的距離
4. 類與類之間的距離
5. 聚類准則及聚類算法
6. 有效性分析

模式相似性測度

模式相似性測度方法

1. 距離測度
2. 相似測度
3. 匹配測度

距離測度
測度基礎： 兩個矢量矢端的距離
測度數值：兩矢量各相應分量之差的函數

歐式(Euclidean)距離

\[d(\vec x, \vec y) = ||\vec x - \vec y|| = [\sum^n_{i=1}(x_i - y_i)^2]^\frac{1}{2} \\ \vec x = (x_1,x_2,...,x_n), \vec y = (y_1, y_2,...,y_n) \]

絕對值距離(Manhattan距離)

\[d(\vec x, \vec y) = \sum^n_{i=1} |x_i - y_i| \]

切氏(Chebyshev)距離

\[d(\vec x, \vec y) = \max_i |x_i - y_i| \]

明(Minkowski)氏距離

\[d(\vec x, \vec y) = [\sum_{i=1}^n|x_i - y_i|^m]^{1/m} \]

馬氏(Mahalanobis)距離
設n維矢量\(\vec x_i\)和\(\vec x_j\)是矢量集\({\vec x_1, \vec x_2,...,\vec x_m}\)中的兩個矢量，馬氏距離\(d\)定義為

\[d^2(\vec x_i, \vec x_j) = (\vec x_i - \vec x_j)^`V^{-1}(\vec x_i - \vec x_j) \]

其中

\[V = \frac{1}{m-1} \sum^m_{i=1}(\vec{x_i} - \overline{\vec{x}})^` \\ \overline{\vec{x}} = \frac{1}{m} \sum^m_{i=1} {\vec x_i} \]

馬氏距離具有平移不變性。
對於 \(\vec y = \vec x\)進行類變換即\(\vec y = A\vec x\),其中\(A\)為非奇異矩陣，馬氏距離不變。

馬氏距離的性質: 對於一切非奇異線性變化都是不變的。即，具有坐標系比例、旋轉、平移不變性，並且從統計意義上盡量去掉了分量間的相關性。

例題

模式相似性測度
測度基礎: 以兩矢量的方向是否相近作為考慮的基礎，矢量長度並不重要。設

\[\vec x = (x_1, x_2, ...,x_n), \vec y = (y_1,y_2,...,y_n) \]

1. 角度相似系數

\[cos(\vec x, \vec y) = \frac{\vec x \vec y}{||\vec x|| ||\vec y||} = \frac{\vec x \vec y}{[(\vec x^` \vec x)(\vec x^` \vec x)]^{1/2}} \]

注意：坐標系的旋轉和尺度的縮放是不變的，但對一般的線性變換和坐標系的平移不具有不變性。

2. 相關系數
   實際上是數據中心化后的矢量夾角余弦

\[r(\vec x, \vec y) =\frac{(\vec x - \overline{\vec x})^`(\vec y - \overline{\vec y})}{[(\vec x - \overline{\vec x})^`(\vec x - \overline{\vec x})(\vec y - \overline{\vec y})^`(\vec y - \overline{\vec y})]^{\frac{1}{2}}} \]

相關系數的取值在 [-1，1]，取值為1時，兩組數據最相關。

3. 指數相似系數

\[e(\vec x, \vec y) = \frac {1}{n} \sum^n_{i=1} exp[-\frac{3(x_i-y_i)^2}{4 \sigma^2_i}] \]

式中\(\sigma^2_i\)為相應分量的協方差，\(n\)為矢量維度，它不受量綱變化的影響。

4. 匹配測度
   當特征只有兩個狀態(0, 1)時，常使用匹配測度。0表示無此特征，1表示有此特征，故稱之為二值特征。對於給定的\(x\)和\(y\)中的某兩個相應分量\(x_i\)與\(y_j\)：
   若\(x_i=1,y_j=1\)，則稱\(x_i\)與\(y_j\)是(1-1)匹配；
   若\(x_i=1,y_j=0\)，則稱\(x_i\)與\(y_j\)是(1-0)匹配；
   若\(x_i=0,y_j=1\)，則稱\(x_i\)與\(y_j\)是(0-1)匹配；
   若\(x_i=0,y_j=0\)，則稱\(x_i\)與\(y_j\)是(0-0)匹配。

對於二值\(n\)維特征矢量可定義如下相似性測度
令 \(a = \sum_i x_iy_i\) 為\(\vec x\)與\(\vec y\)的(1-1)匹配的特征數目
令 \(b = \sum_i y_i(1-x_i)\) 為\(\vec x\)與\(\vec y\)的(0-1)匹配的特征數目
令 \(c = \sum_i x_i (1-y_i)\) 為\(\vec x\)與\(\vec y\)的(1-0)匹配的特征數目
令 \(e = \sum_i (1-x_i)(1-y_i)\) 為\(\vec x\)與\(\vec y\)的(0-0)匹配的特征數目

Tanimoto測度

\[s(\vec x, \vec y) = \frac {a}{a+b+c} = \frac {\vec x^`\vec y}{\vec x^` \vec x + \vec y^` \vec y - \vec x^` \vec y} \]

例題

可以看出，它等於共同具有的特征數目與分別具有的特征種類數目之比。這里只考慮了(1-1)匹配而不考慮(0-0)匹配。

Rao測度

\[s(\vec x, \vec y) = \frac{a}{a+b+c+e} = \frac{\vec x^` \vec y}{n} \]

注：(1-1)匹配特征數目和所選用的特征數目之比

簡單匹配系數

\[m(\vec x, \vec y) = \frac {a+e}{n} \]

注：上式分子為(1-1)匹配特征數目與(0-0)匹配特征數目之和，分母為所考慮的特征數目。

Dice系數

\[m(\vec x, \vec y) = \frac{a}{2a+b+c} = \frac{\vec x^` \vec y}{\vec x^` \vec x + \vec y^` \vec y} = \frac {(1-1)匹配個數}{兩矢量中1的總數} \]

Kulzinsky系數

\[m(\vec x, \vec y) = \frac{a}{b+c} = \frac{\vec x^` \vec y}{\vec x^` \vec x + \vec y^` \vec y - 2\vec x^` \vec y} = \frac{(1-1)匹配個數}{(0-1)+(1-0)匹配個數} \]

類的定義
定義1
若集合S中任意兩個元素\(x_i,x_i\)的距離\(d_{ij}\)有

\[d_{ij} \leq h \]

則稱S相對於闕值h組成一類。

定義2
若集合S中任一元素\(x_i\)與其他各元素\(x_j\)間的距離\(d_{ij}\)均滿足

\[\frac{1}{k-1} \sum_{x_j \in S} d_{ij} \leq h \]

則稱S相對於闕值h組成一類(k為集合元素個數)

定義3
若集合S中任意兩個元素\(x_i, x_j\)的距離\(d_{ij}\)滿足

\[\frac {1}{k(k-1)} \sum_{x_i \in S} \sum_{x_j \in S} d_{ij} \leq h 且 d_{ij} \leq r \]

則稱S相對於闕值h,r組成一類

定義4
若集合S中元素滿足對於任一 \(x_i \in S\)，都存在某 \(x_j \in S\)使它們的距離

\[d_{ij} \leq h \]

則稱S相對於闕值h組成一類。