人臉識別（Facial Recognition），就是通過視頻采集設備獲取用戶的面部圖像，再利用核心的算法對其臉部的五官位置、臉型和角度進行計算分析，進而和自身數據庫里已有的范本進行比對，后判斷出用戶的真實身份。人臉識別技術基於局部特征區域的單訓練樣本人臉識別方法。
第一步，需要對局部區域進行定義；
第二步，人臉局部區域特征的提取，依據經過樣本訓練后得到的變換矩陣將人臉圖像向量映射為人臉特征向量；
第三步，局部特征選擇（可選）；
后一步是進行分類。分類器多采用組合分類器的形式，每個局部特征 對應一個分類器，后可用投票或線性加權等方式得到終識別結果。
人臉識別綜合運用了數字圖像/視頻處理、模式識別、計算機視覺等多種技術，核心技 術是人臉識別算法。目前人臉識別的算法有 4 種：基於人臉特征點的識別算法、基於整幅 人臉圖像的識別算法、基於模板的識別算法、利用神經網絡進行識別的算法。
作為人臉識別的第一步，人臉檢測所進行的工作是將人臉從圖像背景中檢測出來，由於受圖像背景、亮度變化以及人的頭部姿勢等因素影響使人臉檢測成為一項復雜研究內容。檢測定位：檢測是判別一幅圖像中是否存在人臉，定位則是給出人臉在圖像中的位置。定位后得到的臉部圖像信息是測量空間的模式，要進行識別工作，首先要將測量空間中的數據映射到特征空間中。采用主分量分析方法，原理是將一高維向量，通過一個特殊的特征向量矩陣，投影到一個低維的向量空間中，表征為一個低維向量，並且僅僅損失一些次要信息。通過對經過檢測和定位過的人臉圖像進行特征提取操作可以達到降低圖像維數，從而可以減小識別計算量，提高識別精度的作用。人臉識別系統采用基於特征臉的主 成分分析法（PCA），根據一組人臉訓練樣本構造主元子空間，檢測時，將測試圖像投影到 主元空間上，得到一組投影系數，再和各已知的人臉圖像模式比較，從而得到檢測結果。
四種方法的詳解：
1、基於幾何特征識別
彈性圖匹配(EGM)方法可采用屬性拓撲圖來表達人臉，其拓撲圖的任一頂點均
包含一特征矢量，它記錄了人臉在該頂點位置的分布信息，最初的拓撲圖是矩形
的，並沒有注重節點的位置。后來，Wiskott[32】提出～種基於關鍵點的圖匹配算法，
稱為彈性束圖(elastic bunchgraph)，其節點一般定位在如眼球、眼角等灰度變化
劇烈，信息豐富的地方。特征點先是手工定位，經過一段學習以后，即可達到自
動定位。如此幾十個節點，其分離能力是不同的，並且前向、半側、側面人臉分
離能力較好的節點分布范圍也不一樣，g_,-ugert33】深入研究了這一問題，他給每個
節點不同的權重，與該節點的分離能力成正比。統計表明，眼在前向和半側的人
臉中是最重要的分離特征，而鼻尖是側面人臉最重要的分離特征。Wurtz【34】研究了
多分辨的情況，他假定在兩幅人臉圖中只有一部分節點有較好的對應，一些節點
根本沒有對應節點，它們將干擾識別。因此在匹配的過程中只保留對應良好的節
點，並且將背景(包括頭發區域)去掉。由於彈性匹配對每個存儲的人臉需計算其模
型圖，計算量大，存儲量大，Lee【35】等提出了一種基於彈性圖動態鏈接模型的方法，
既取得較高的識別速度，也獲得了較理想的識別率，在一定程度上克服了以往方
法總是在速度與識別率之間進行折中的缺點。
2、基於代數特征識別
主分量分析(Principal．Component Analysis，PCA)是一種常用的方法。它根據圖
像的統計特性進行的正交變換(K．L變換)，以消除原有向量各個分量間的相關性。
變換得到對應特征值依次遞減的特征向量，即特征臉1361。Turk和Pentland[37】進一步
提出了“特征臉”方法，該方法以訓練樣本集的總體散布矩陣為產生矩陣得到的
一組特征矢量，稱作“特征臉”，這樣就可產生了一個由“特征臉”矢量組成的
子空間，每一幅人臉圖像其投影都可以獲得一組坐標系數，這組坐標系數表明了
人臉在子空間的位置，實驗表明該方法具有較強的穩定性，可以作為人臉識別的
依據。
特征臉方法使用由各個特征臉擴展的空間來表示人臉，雖然可以有效地表示
人臉信息，但是並不能有效地鑒別和區分人臉。Swets和Wen9138】提出PCA的基礎上
使用LDA(Lillear Discriminant Analysis，線性鑒別矢量)，也稱Fisher臉方法【39】。它選
擇以類內散布正交的矢量作為特征臉空間，從而能壓制圖像之間與識別信息無關
的差異，對光照及人臉表情變化都不太敏感。
Moghaddamt40】等提出了貝葉斯人臉識別方法。他們提出了一種基於概率的圖
像相似度度量方法，將人臉圖像之間的差異分為兩類類間差異(即不同人的人臉圖
像之間的差異)和類內差異(即同一個人的不同人臉圖像之間的差異)。他們提出了
類間差異和類內差異度量的概率模型和計算方法。由於貝葉斯相似度的計算涉及
復雜的非線性的快速計算方法。這種人臉識別方法在1996年美國DAPAR組織的
FERET人臉測試中是效果最好的方法之一。
Yang[4l】等人考慮高階統計量，從而提出了核特征臉(Kernel Eigenface)應用
Kernel PCA將人臉對應的向量映射到高維空間中，然后應用PCA。這種做法避免了
高維統計量計算中的組合爆炸問題，同時，還考慮了高維相關性。由於PCA為基
礎的傳統特征臉方法沒有利用人臉的幾何拓撲特征，為此Albertt421等將PCA與人臉
3、隱馬爾科夫模型(HMM)
隱馬爾科夫模霎j．t431(Hidden Markov Model，HMM)是用於描述信號統計特性的
一組統計模型。HMM使用馬爾科夫鏈來模擬信號統計特性的變化，而這種變化又
是間接地通過觀察序列來描述的，因此，隱馬爾科夫過程是一個雙重的隨機過程。
用采集的臉像構造觀察向量，觀察向量和人臉的五官特征之間的關系可以用一個
一維的隱Markov模型(Hidden Markov Model，HMM)來表示，該模型的參數能較好
地表征具體的人臉模型，在人臉識別領域已取得到了初步成效州。這種方法至少
有兩個問題，一個是直接采用灰度值作為觀察值矢量會受到噪聲、光線等很多隨
機因素的影響，另外一個是計算量很大，學習和識別速度都比較慢。偽二維
HMM(P2．DHMM)模型是一維HMM模型的一種推廣。P2．DHMM由一組主狀態組
成，每一個主狀態又包括了一個一維HMM。相當於將一組一維HMM模型嵌入另
外一組HMM模型中，因為這種結構並不是真正的二維HMM模型，因此取名為
偽二維HMM模型。可以看出這種結構利用了圖像的二維特征，更適合於圖像識
別，因此采用了這種HMM結構用於人臉識別。
4、支持向量機法(SVM)
支持向量機(Support Vector Machines，SVM)是Vapnik等提出的基於結構風險
最小化原理(Structural Ri．sk Minimization Principle，SRM)統計學習理論ml， 用於分
類與回歸問題。SRM使vc(vapnik Cherovnenkis)維數的上限最小化，而經驗風險
最小化(Empirical Risk Minimization Principle，ERM)使相對於訓練數據的誤差最小
化，這使得SVM方法比基於ERM的ANN方法具有更好的泛化能力。SVM最初
是針對分類問題提出來的，目前也被推廣到回歸問題中。直接使用SVM方法解決
人臉識別問題面臨兩個困難：(1)訓練SVM需要求解二次規划問題，計算復雜度高、
內存需求量巨大；(2)在非人臉樣本不受限制時，需要極大規模的訓練集合，得到
的支持矢量會很多(約占訓練樣本總數的20％)，使得分類器的計算量過高。
為了解決以上問題Osunal46】等人提出了分解算法，目的都是為了把求解原始的
大規模QP問題，轉化成與之等價的一系列較小規模二次規划子問(quadratic
programming，QP)。Platt進一步提出了SMO[471(Sequential minimal ptimization)算法，
SMO算法把每一步QP子問題的規模降到最小，選擇兩個違例樣本進行優化。
Keerthi等人對SMO算法的違例樣本選取進行改進使得SMO算法的速度有了很大
的提高。
Guo dongGuot48】等人采用兩個人臉數據庫，一個是含有400幅圖象，另一個含
有1079幅圖象，並將SVM方法與其它算法進行了比較，證明SVM方法的錯識率
最低。比較遺憾的是，雖然SVM方法在理論上具有很突出的優勢，但與其理論研
第二章人臉檢測識別方法 17
究相比，應用研究還相對比較滯后，目前只有較有限的實驗研究報道，且多屬仿
真和對比實驗，SVM的應用應該是一個大有作為的方向。
彈性圖匹配(EGM)方法可采用屬性拓撲圖來表達人臉，其拓撲圖的任一頂點均
包含一特征矢量，它記錄了人臉在該頂點位置的分布信息，最初的拓撲圖是矩形
的，並沒有注重節點的位置。后來，Wiskott[32】提出～種基於關鍵點的圖匹配算法，
稱為彈性束圖(elastic bunchgraph)，其節點一般定位在如眼球、眼角等灰度變化
劇烈，信息豐富的地方。特征點先是手工定位，經過一段學習以后，即可達到自
動定位。如此幾十個節點，其分離能力是不同的，並且前向、半側、側面人臉分
離能力較好的節點分布范圍也不一樣，g_,-ugert33】深入研究了這一問題，他給每個
節點不同的權重，與該節點的分離能力成正比。統計表明，眼在前向和半側的人
臉中是最重要的分離特征，而鼻尖是側面人臉最重要的分離特征。Wurtz【34】研究了
多分辨的情況，他假定在兩幅人臉圖中只有一部分節點有較好的對應，一些節點
根本沒有對應節點，它們將干擾識別。因此在匹配的過程中只保留對應良好的節
點，並且將背景(包括頭發區域)去掉。由於彈性匹配對每個存儲的人臉需計算其模
型圖，計算量大，存儲量大，Lee【35】等提出了一種基於彈性圖動態鏈接模型的方法，
既取得較高的識別速度，也獲得了較理想的識別率，在一定程度上克服了以往方
法總是在速度與識別率之間進行折中的缺點。
2、基於代數特征識別
主分量分析(Principal．Component Analysis，PCA)是一種常用的方法。它根據圖
像的統計特性進行的正交變換(K．L變換)，以消除原有向量各個分量間的相關性。
變換得到對應特征值依次遞減的特征向量，即特征臉1361。Turk和Pentland[37】進一步
提出了“特征臉”方法，該方法以訓練樣本集的總體散布矩陣為產生矩陣得到的
一組特征矢量，稱作“特征臉”，這樣就可產生了一個由“特征臉”矢量組成的
子空間，每一幅人臉圖像其投影都可以獲得一組坐標系數，這組坐標系數表明了
人臉在子空間的位置，實驗表明該方法具有較強的穩定性，可以作為人臉識別的
依據。
特征臉方法使用由各個特征臉擴展的空間來表示人臉，雖然可以有效地表示
人臉信息，但是並不能有效地鑒別和區分人臉。Swets和Wen9138】提出PCA的基礎上
使用LDA(Lillear Discriminant Analysis，線性鑒別矢量)，也稱Fisher臉方法【39】。它選
擇以類內散布正交的矢量作為特征臉空間，從而能壓制圖像之間與識別信息無關
的差異，對光照及人臉表情變化都不太敏感。
Moghaddamt40】等提出了貝葉斯人臉識別方法。他們提出了一種基於概率的圖
像相似度度量方法，將人臉圖像之間的差異分為兩類類間差異(即不同人的人臉圖
像之間的差異)和類內差異(即同一個人的不同人臉圖像之間的差異)。他們提出了
類間差異和類內差異度量的概率模型和計算方法。由於貝葉斯相似度的計算涉及
復雜的非線性的快速計算方法。這種人臉識別方法在1996年美國DAPAR組織的
FERET人臉測試中是效果最好的方法之一。
Yang[4l】等人考慮高階統計量，從而提出了核特征臉(Kernel Eigenface)應用
Kernel PCA將人臉對應的向量映射到高維空間中，然后應用PCA。這種做法避免了
高維統計量計算中的組合爆炸問題，同時，還考慮了高維相關性。由於PCA為基
礎的傳統特征臉方法沒有利用人臉的幾何拓撲特征，為此Albertt421等將PCA與人臉
3、隱馬爾科夫模型(HMM)
隱馬爾科夫模霎j．t431(Hidden Markov Model，HMM)是用於描述信號統計特性的
一組統計模型。HMM使用馬爾科夫鏈來模擬信號統計特性的變化，而這種變化又
是間接地通過觀察序列來描述的，因此，隱馬爾科夫過程是一個雙重的隨機過程。
用采集的臉像構造觀察向量，觀察向量和人臉的五官特征之間的關系可以用一個
一維的隱Markov模型(Hidden Markov Model，HMM)來表示，該模型的參數能較好
地表征具體的人臉模型，在人臉識別領域已取得到了初步成效州。這種方法至少
有兩個問題，一個是直接采用灰度值作為觀察值矢量會受到噪聲、光線等很多隨
機因素的影響，另外一個是計算量很大，學習和識別速度都比較慢。偽二維
HMM(P2．DHMM)模型是一維HMM模型的一種推廣。P2．DHMM由一組主狀態組
成，每一個主狀態又包括了一個一維HMM。相當於將一組一維HMM模型嵌入另
外一組HMM模型中，因為這種結構並不是真正的二維HMM模型，因此取名為
偽二維HMM模型。可以看出這種結構利用了圖像的二維特征，更適合於圖像識
別，因此采用了這種HMM結構用於人臉識別。
4、支持向量機法(SVM)
支持向量機(Support Vector Machines，SVM)是Vapnik等提出的基於結構風險
最小化原理(Structural Ri．sk Minimization Principle，SRM)統計學習理論ml， 用於分
類與回歸問題。SRM使vc(vapnik Cherovnenkis)維數的上限最小化，而經驗風險
最小化(Empirical Risk Minimization Principle，ERM)使相對於訓練數據的誤差最小
化，這使得SVM方法比基於ERM的ANN方法具有更好的泛化能力。SVM最初
是針對分類問題提出來的，目前也被推廣到回歸問題中。直接使用SVM方法解決
人臉識別問題面臨兩個困難：(1)訓練SVM需要求解二次規划問題，計算復雜度高、
內存需求量巨大；(2)在非人臉樣本不受限制時，需要極大規模的訓練集合，得到
的支持矢量會很多(約占訓練樣本總數的20％)，使得分類器的計算量過高。
為了解決以上問題Osunal46】等人提出了分解算法，目的都是為了把求解原始的
大規模QP問題，轉化成與之等價的一系列較小規模二次規划子問(quadratic
programming，QP)。Platt進一步提出了SMO[471(Sequential minimal ptimization)算法，
SMO算法把每一步QP子問題的規模降到最小，選擇兩個違例樣本進行優化。
Keerthi等人對SMO算法的違例樣本選取進行改進使得SMO算法的速度有了很大
的提高。
Guo dongGuot48】等人采用兩個人臉數據庫，一個是含有400幅圖象，另一個含
有1079幅圖象，並將SVM方法與其它算法進行了比較，證明SVM方法的錯識率
最低。比較遺憾的是，雖然SVM方法在理論上具有很突出的優勢，但與其理論研
第二章人臉檢測識別方法 17
究相比，應用研究還相對比較滯后，目前只有較有限的實驗研究報道，且多屬仿
真和對比實驗，SVM的應用應該是一個大有作為的方向。