1統計模式識別的原理與方法簡介
1.1 模式識別
什么是模式和模式識別？
廣義地說，存在於時間和空間中可觀察的事物，如果可以區別它們是否相同或相似，都可以稱之為模式；狹義地說，模式是通過對具體的個別事物進行觀測所得到的具有時間和空間分布的信息；把模式所屬的類別或同一類中模式的總體稱為模式類(或簡稱為類）]。而“模式識別”則是在某些一定量度或觀測基礎上把待識模式划分到各自的模式類中去。
模式識別的研究主要集中在兩方面，即研究生物體(包括人）是如何感知對象的，以及在給定的任務下，如何用計算機實現模式識別的理論和方法。前者是生理學家、心理學家、生物學家、神經生理學家的研究內容，屬於認知科學的范疇；后者通過數學家、信息學專家和計算機科學工作者近幾十年來的努力，已經取得了系統的研究成果。
一個計算機模式識別系統基本上是由三個相互關聯而又有明顯區別的過程組成的，即數據生成、模式分析和模式分類。數據生成是將輸入模式的原始信息轉換為向量，成為計算機易於處理的形式。模式分析是對數據進行加工，包括特征選擇、特征提取、數據維數壓縮和決定可能存在的類別等。模式分類則是利用模式分析所獲得的信息，對計算機進行訓練，從而制定判別標准，以期對待識模式進行分類。
有兩種基本的模式識別方法，即統計模式識別方法和結構(句法）模式識別方法。統計模式識別是對模式的統計分類方法，即結合統計概率論的貝葉斯決策系統進行模式識別的技術，又稱為決策理論識別方法。利用模式與子模式分層結構的樹狀信息所完成的模式識別工作，就是結構模式識別或句法模式識別。
模式識別已經在天氣預報、衛星航空圖片解釋、工業產品檢測、字符識別、語音識別、指紋識別、醫學圖像分析等許多方面得到了成功的應用。所有這些應用都是和問題的性質密不可分的，至今還沒有發展成統一的有效的可應用於所有的模式識別的理論。
1.2 統計模式識別
統計模式識別的基本原理是：有相似性的樣本在模式空間中互相接近，並形成“集團”，即“物以類聚”。其分析方法是根據模式所測得的特征向量Xi=(xi1,xi2,…,xid)T(i=1,2,…,N），將一個給定的模式歸入C個類ω1,ω2,…, ωc中，然后根據模式之間的距離函數來判別分類。其中，T表示轉置；N為樣本點數；d為樣本特征數。
統計模式識別的主要方法有：判別函數法， k近鄰分類法，非線性映射法，特征分析法，主因子分析法等。
在統計模式識別中，貝葉斯決策規則從理論上解決了最優分類器的設計問題，但其實施卻必須首先解決更困難的概率密度估計問題。BP神經網絡直接從觀測數據(訓練樣本）學習，是更簡便有效的方法，因而獲得了廣泛的應用，但它是一種啟發式技術，缺乏指定工程實踐的堅實理論基礎。統計推斷理論研究所取得的突破性成果導致現代統計學習理論——VC理論的建立，該理論不僅在嚴格的數學基礎上圓滿地回答了人工神經網絡中出現的理論問題，而且導出了一種新的學習方法——支撐向量機]。
2 統計模式識別的研究進展
2.1 類條件概率分布的估計
考慮將待識樣本X∈Rd判別為C個不同類ω1,ω2,…, ωc中的某一類。由貝葉斯定理，X應判為具最大后驗概率的那一類。由於類條件概率分布未知，故通常假定分布為某一帶參數的模型如多維正態分布(當多維正態分布中均值向量和協方差矩陣已知時，由此分布得到的二次判別函數是最優的），而表示分布的參數則由訓練樣本進行估計。當訓練樣本不充足時，分布參數包含估計誤差影響識別精度。
為了提高分類精度，在參考文獻8中，Ujiie H等人提出了這樣一個方法。首先，將給定數據進行變換(帶指數函數的變換），使得變換后的數據更近似於正態分布，不論原數據所服從的分布如何，而且在理論上找到了最優變換；然后，為了處理這些變換后的數據，對傳統的二次判別函數進行了修改；最后，提出了變換的一些性質並通過實驗表明了該方法的有效性。
為了避免分類精度的降低，通過研究特征值的估計誤差，提出了各種方法，但對特征向量的估計誤差卻考慮得不多。Iwamura M等人經過研究得出特征向量的估計誤差是造成分類精度降低的另一個因素，因而在參考文獻9中提出了通過修改特征值以彌補特征向量的估計誤差的方法。
2.2 線性判別法
20世紀90年代中期，統計學習理論和支撐向量機算法的成功引起了廣大研究人員的重視。支撐向量機算法具有較扎實的理論基礎和良好的推廣能力，並在手寫數字識別、文本分類等領域取得了良好的效果，它的一個引人注目的特點是利用滿足Mercer條件的核函數實現非線性分類器的設計，而不需要知道非線性變換的具體形式[10]。Fisher判別法和主分量分析法是在模式分類與特征抽取中已經獲得廣泛應用的傳統線性方法。近年出現的基於核函數的Fisher判別法與基於核函數的主分量分析法是它們的線性推廣，其性能更好，適用范圍更廣，靈活性更高，是值得關注的應用前景看好的新方法。
在考慮兩類問題且每類中的訓練樣本數大於樣本的維數的情況下，參考文獻14提出了基於訓練樣本來划分一個多維空間的兩種方法，它們是Fisher線性判別法的兩點改進。第一種方法——一維參數搜索；第二種方法——遞歸Fisher方法。這兩種方法對模式檢測問題比起標准的Fisher判別法來訓練效果更好。利用Mercer核，可以將這兩個方法推廣到非線性決策面。
2.3 貝葉斯分類器
模式識別的目的就是要將一個物體(由它的特征表示）判別為它所屬的某一類。考慮兩類的情況。采用貝葉斯分類器時，物體是按最大后驗概率進行分類的，這由一個判別函數來完成。多數情況下，該判別函數是線性的或二次的。當類服從正態分布時，要找到最優線性分類器總是不可能的。就目前所知，都是協方差矩陣相等的情況。
與最優線性分類器相對，研究人員嘗試各種方法來得到線性分類器，盡管這些方法找到了線性判別函數，但分類器卻不是最優的。在參考文獻15中，作者指出存在正態分布和不等協方差矩陣的其它情況判別函數是線性的且分類器是最優的。與前面研究的線性分類器相比，這里介紹的新方法得到兩個正態分布類間的最優分類器是對偶的和線性的。文中確定了均值向量和協方差矩陣必須滿足的條件以得到最優對偶線性分類器，解決了感知器的Minsky悖論。
具最優決策的貝葉斯分類器可以由概率神經網絡來實現。
可以用非線性動態系統(Nonlinear Dynamical System，簡記為NDS)的集合來對模式進行分類，其中每個NDS將輸入值分類為IN或OUT類型。輸入值通過每一個NDS進行迭代並沿着一個軌道收斂到一個全局穩定吸引子(attractor)，它是該NDS所代表的類的原型。參考文獻18的作者先前提出了一種“Race to The Attractor”神經網絡(RTANN）模型方法，與傳統的神經網絡方法相比，這一方法受益於與人的大腦聯系更廣的幾個有利條件。然而，該方法缺乏詳細的數學分析。
要從雜亂的背景圖像中檢測出諸如人、臉和汽車等是一個廣泛應用的方法。許多應用系統需要准確而快速的檢測。換句話說，降低檢測錯誤和減少計算復雜性是兩個主要的問題。很多目標檢測的工作集中在性能改善上，而對復雜性問題注意很少。有人通過在貝葉斯決策規則下的誤差分析，減少檢測時系數的數量來降低計算開銷，采用隱式Markov樹(HMT）模型來描述模式分布，引入概念error－bound－tree(EBT)建立特征選擇與誤差降低的聯系。
2.4 誤差界
最小分類錯誤(MCE）訓練准則，與其它判別訓練准則如極大交互信息(MMI）准則等是統計模式識別中訓練模型參數的標准極大似然(ML）准則的重要選擇。MCE准則表示對給定的分類器訓練數據的試驗錯誤率的光滑模型。由於訓練准則和降低錯誤率的最終目標之間的直接關系，MCE訓練的分類器不會太依賴於某個模型假設的性質，正如ML和MMI訓練那樣的情況。已證明MCE准則給出了一個獨立於相應的模型分布的貝葉斯錯誤率的上界。還證明了與模型無關的MCE准則導出了在有限訓練樣本的漸近情況下的一個封閉解。在導出貝葉斯錯誤率時，結果模型分布與真分布(代表訓練數據)不同。
有研究者按照訓練樣本的分類間隔數利用概率近似校正(PAC）的貝葉斯結構提出了線性分類器的一般誤差的一個界。
一個有用的概念，即由相同的訓練數據構造出來的分類器之間的弱相關。結果表明，如果弱相關低且期望的分類間隔大，那么基於這些分類器的線性組合的決策規則可以使錯誤率成指數級減少。
2.5 新的模式識別方法
2.5.1 共享核函數模型
概率密度估計構成一個無監督的方法，該方法試圖從所得到的沒有標記的數據集中建立原始密度函數的模型。密度估計的一個重要應用就是它可以被用於解決分類問題。
廣泛應用於統計模式識別中密度估計的方法之一是基於混合密度模型的。根據期望最大(EM）算法得到了這些模型中有效的訓練過程。在參考文獻23中，作者指出，按照共享核函數可以得出條件密度估計的更一般的模型，這里類條件密度可以用一些對所有類的條件密度估計產生作用的核函數表示。作者首先提出了一個模型，該模型對經典徑向基函數(RBF)網絡進行了修改，其輸出表示類條件密度。與其相反的是獨立混合模型的方法，其中每個類的密度采用獨立混合密度進行估計。最后提出了一個更一般的模型，上面提到的模型是這個模型的特殊情況。
2.5.2 粗糙集理論(Rough Set Theory, 簡記RST)方法
在20世紀70年代，波蘭學者Pawlak Z和一些波蘭的邏輯學家們一起從事關於信息系統邏輯特性的研究。粗糙集理論就是在這些研究的基礎上產生的。1982年， Pawlak Z發表了經典論文Rough Sets，宣告了粗糙集理論的誕生。此后，粗糙集理論引起了許多科學家、邏輯學家和計算機研究人員的興趣，他們在粗糙集的理論和應用方面作了大量的研究工作。1991年，Pawlak Z的專著和1992年應用專集的出版，對這一段時期理論和實踐工作的成果作了較好的總結，同時促進了粗糙集在各個領域的應用。此后召開的與粗糙集有關的國際會議進一步推動了粗糙集的發展。越來越多的科技人員開始了解並准備從事該領域的研究。目前，粗糙集已成為人工智能領域中一個較新的學術熱點，在模式識別、機器學習、知識獲取、決策分析、過程控制等許多領域得到了廣泛的應用]。
模擬傳感器信號的一個方法,在點的非空不可數集合下實現集合的近似,引入了基於粗糙集理論的離散粗糙積分。離散粗糙積分有助於近似推理和模式識別中連續信號的分割。在近似推理中，離散粗糙積分為確定某特定采樣期間傳感器的相關性提供一個基。在模式識別中，離散粗糙積分可用於如雷達天氣數據的分類、汽車模式分類及動力系統故障波形分類等方面。
粗糙集理論是處理模糊和不確定性的一個新的數學工具。用粗糙集理論構造決策規則的算法一般都是考慮決策規則的數量而不是它們的代價。采用多目標決策來協調規則的簡明性和代價之間的沖突，以及提高粗糙集的效率和效力。
基於模式識別方法的動力系統瞬態穩定性估計(TSA）通常按兩個模式的分類問題進行處理，即區分穩定和不穩定類。其中有兩個基本問題：(1）選擇一組有效的特征；(2）建立一個具有高精度分類的模式分類器。參考文獻28將粗糙集理論與向后傳播的神經網絡(BPNN）相結合來進行瞬態穩定性估計，包括特征提取和分類器構造。首先，通過初始輸入特征的離散化，利用基於RST的誘導學習算法來簡化初始特征集。然后，利用采用半監督學習算法的BPNN作為一個“粗糙分類器”將系統穩定性分為三類，即穩定類、不穩定類和不確定類(邊界區域）。不確定類的引入提供了減少誤分類的一個切實可行的方法，且分類結果的可靠性也因此而大大提高。
2.5.3 仿生模式識別(拓撲模式識別）
一種模式識別理論的新模型，它是基於“認識”事物而不是基於“區分”事物為目的。與傳統以“最佳划分”為目標的統計模式識別相比，它更接近於人類“認識”事物的特性，故稱為“仿生模式識別”。它的數學方法在於研究特征空間中同類樣本的連續性(不能分裂成兩個彼此不鄰接的部分）特性。文中用“仿生模式識別”理論及其“高維空間復雜幾何形體覆蓋神經網絡”識別方法，對地平面剛性目標全方位識別問題作了實驗。對各種形狀相像的動物及車輛模型作全方位8800次識別，結果正確識別率為99.75％，錯誤識別率與拒識率分別為0與0.25％。
3 結 語
模式識別從20世紀20年代發展至今，人們的一種普遍看法是不存在對所有模式識別問題都適用的單一模型和解決識別問題的單一技術，我們現在擁有的只是一個工具袋，所要做的是結合具體問題把統計的和句法的識別結合起來，把統計模式識別或句法模式識別與人工智能中的啟發式搜索結合起來，把統計模式識別或句法模式識別與支持向量機的機器學習結合起來[30]，把人工神經元網絡與各種已有技術以及人工智能中的專家系統、不確定推理方法結合起來，深入掌握各種工具的效能和應有的可能性，互相取長補短，開創模式識別應用的新局面。