上一節講到人臉檢測，現在講一下人臉識別。具體是通過程序采集圖像並進行訓練，並且基於這些訓練的圖像對人臉進行動態識別。
人臉識別前所需要的人臉庫可以通過兩種方式獲得：1.自己從視頻獲取圖像 2.從人臉數據庫免費獲得可用人臉圖像，如ORL人臉庫（包含40個人每人10張人臉，總共400張人臉），ORL人臉庫中的每一張圖像大小為92x112。若要對這些樣本進行人臉識別必須要在包含人臉的樣本圖像上進行人臉識別。這里提供自己准備圖像識別出自己的方法。
1.采集人臉信息：通過攝像頭采集人臉信息，10張以上即可，把圖像大小調整為92x112，保存在一個指定的文件夾，文件名后綴為.png
def generator(data): ''' 打開攝像頭，讀取幀，檢測該幀圖像中的人臉，並進行剪切、縮放 生成圖片滿足以下格式： 1.灰度圖，后綴為 .png 2.圖像大小相同 params: data:指定生成的人臉數據的保存路徑 ''' name=input('my name:') #如果路徑存在則刪除路徑 path=os.path.join(data,name) if os.path.isdir(path): shutil.rmtree(path) #創建文件夾 os.mkdir(path) #創建一個級聯分類器 face_casecade=cv2.CascadeClassifier('../haarcascades/haarcascade_frontalface_default.xml') #打開攝像頭 camera=cv2.VideoCapture(0) cv2.namedWindow('Dynamic') #計數 count=1 while(True): #讀取一幀圖像 ret,frame=camera.read() if ret: #轉換為灰度圖 gray_img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #人臉檢測 face=face_casecade.detectMultiScale(gray_img,1.3,5) for (x,y,w,h) in face: #在原圖上繪制矩形 cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),2) #調整圖像大小 new_frame=cv2.resize(frame[y:y+h,x:x+w],(92,112)) #保存人臉 cv2.imwrite('%s/%s.png'%(path,str(count)),new_frame) count+=1 cv2.imshow('Dynamic',frame) #按下q鍵退出 if cv2.waitKey(100) & 0xff==ord('q'): break camera.release() cv2.destroyAllWindows()
該程序運行后會在指定的data路徑下創建一個你輸入的人名的文件夾用於存放采集到的圖像，在這里我輸入了wjy，結果如圖
2.人臉識別
OpenCV有3中人臉識別方法，分別基於三個不同算法，分別為Eigenfaces，Fisherfaces和Local Binary Pattern Histogram
這些方法都有類似的一個過程，即先對數據集進行訓練，對圖像或視頻中的人臉進行分析，並且從兩個方面確定：1.是否識別到對應的目標，2.識別到的目標的置信度，在實際中通過閾值進行篩選，置信度高於閾值的人臉將被丟棄
這里介紹一下利用特征臉即Eigenfaces進行人臉識別算法，特征臉法本質上就是PCA降維，基本思路是先把圖像灰度化，轉化為單通道，再將它首位相接轉換為列向量，假設圖像的大小是20*20的，那么這個向量就是400維，但是維度太高算法復雜度也會升高，所以需要降維，再使用簡單排序即可
#載入圖像 讀取ORL人臉數據庫，准備訓練數據 def LoadImages(data): ''' 加載圖片數據用於訓練 params: data:訓練數據所在的目錄，要求圖片尺寸一樣 ret: images:[m,height,width] m為樣本數，height為高，width為寬 names：名字的集合 labels：標簽 ''' images=[] names=[] labels=[] label=0 #遍歷所有文件夾 for subdir in os.listdir(data): subpath=os.path.join(data,subdir) #print('path',subpath) #判斷文件夾是否存在 if os.path.isdir(subpath): #在每一個文件夾中存放着一個人的許多照片 names.append(subdir) #遍歷文件夾中的圖片文件 for filename in os.listdir(subpath): imgpath=os.path.join(subpath,filename) img=cv2.imread(imgpath,cv2.IMREAD_COLOR) gray_img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #cv2.imshow('1',img) #cv2.waitKey(0) images.append(gray_img) labels.append(label) label+=1 images=np.asarray(images) #names=np.asarray(names) labels=np.asarray(labels) return images,labels,names #檢驗訓練結果 def FaceRec(data): #加載訓練的數據 X,y,names=LoadImages(data) #print('x',X) model=cv2.face.EigenFaceRecognizer_create() model.train(X,y) #打開攝像頭 camera=cv2.VideoCapture(0) cv2.namedWindow('Dynamic') #創建級聯分類器 face_casecade=cv2.CascadeClassifier('../haarcascades/haarcascade_frontalface_default.xml') while(True): #讀取一幀圖像 #ret:圖像是否讀取成功 #frame：該幀圖像 ret,frame=camera.read() #判斷圖像是否讀取成功 #print('ret',ret) if ret: #轉換為灰度圖 gray_img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #利用級聯分類器鑒別人臉 faces=face_casecade.detectMultiScale(gray_img,1.3,5) #遍歷每一幀圖像，畫出矩形 for (x,y,w,h) in faces: frame=cv2.rectangle(frame,(x,y),(x+w,y+h),(255,0,0),2) #藍色 roi_gray=gray_img[y:y+h,x:x+w] try: #將圖像轉換為寬92 高112的圖像 #resize（原圖像，目標大小，（插值方法）interpolation=，） roi_gray=cv2.resize(roi_gray,(92,112),interpolation=cv2.INTER_LINEAR) params=model.predict(roi_gray) print('Label:%s,confidence:%.2f'%(params[0],params[1])) ''' putText:給照片添加文字 putText(輸入圖像，'所需添加的文字'，左上角的坐標，字體，字體大小，顏色，字體粗細) ''' cv2.putText(frame,names[params[0]],(x,y-20),cv2.FONT_HERSHEY_SIMPLEX,1,255,2) except: continue cv2.imshow('Dynamic',frame) #按下q鍵退出 if cv2.waitKey(100) & 0xff==ord('q'): break camera.release() cv2.destroyAllWindows()
在程序中，我們用cv2.face.EigenFaceRecognizer_create()創建人臉識別的模型，通過圖像數組和對應標簽數組來訓練模型，該函數有兩個重要的參數，1.保留主成分的數目，2.指定的置信度閾值，為一個浮點型。
下面就是基本重復人臉檢測的相關操作，通過檢測到視頻中的人臉進行人臉識別，有如下兩個步驟：
1.將檢測到的人臉圖像調整為92x112，即需要和訓練的圖像的尺寸相同
2.調用predict()函數進行人臉預測，該函數會返回兩個元素的數組，第一個是識別個體的標簽，第二個是置信度，越小匹配度越高，0表示完全匹配，需要了解的是不同算法的置信度評分機制不同。
附上結果圖
這里附上全部源代碼“
# -*- coding: utf-8 -*- """ Created on Sat Oct 27 11:43:47 2018 @author: Administrator """ ''' 調用opencv的庫實現人臉識別 ''' import cv2 import numpy as np import os import shutil #采集自己的人臉數據 def generator(data): ''' 打開攝像頭，讀取幀，檢測該幀圖像中的人臉，並進行剪切、縮放 生成圖片滿足以下格式： 1.灰度圖，后綴為 .png 2.圖像大小相同 params: data:指定生成的人臉數據的保存路徑 ''' name=input('my name:') #如果路徑存在則刪除路徑 path=os.path.join(data,name) if os.path.isdir(path): shutil.rmtree(path) #創建文件夾 os.mkdir(path) #創建一個級聯分類器 face_casecade=cv2.CascadeClassifier('../haarcascades/haarcascade_frontalface_default.xml') #打開攝像頭 camera=cv2.VideoCapture(0) cv2.namedWindow('Dynamic') #計數 count=1 while(True): #讀取一幀圖像 ret,frame=camera.read() if ret: #轉換為灰度圖 gray_img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #人臉檢測 face=face_casecade.detectMultiScale(gray_img,1.3,5) for (x,y,w,h) in face: #在原圖上繪制矩形 cv2.rectangle(frame,(x,y),(x+w,y+h),(0,0,255),2) #調整圖像大小 new_frame=cv2.resize(frame[y:y+h,x:x+w],(92,112)) #保存人臉 cv2.imwrite('%s/%s.png'%(path,str(count)),new_frame) count+=1 cv2.imshow('Dynamic',frame) #按下q鍵退出 if cv2.waitKey(100) & 0xff==ord('q'): break camera.release() cv2.destroyAllWindows() #載入圖像 讀取ORL人臉數據庫，准備訓練數據 def LoadImages(data): ''' 加載圖片數據用於訓練 params: data:訓練數據所在的目錄，要求圖片尺寸一樣 ret: images:[m,height,width] m為樣本數，height為高，width為寬 names：名字的集合 labels：標簽 ''' images=[] names=[] labels=[] label=0 #遍歷所有文件夾 for subdir in os.listdir(data): subpath=os.path.join(data,subdir) #print('path',subpath) #判斷文件夾是否存在 if os.path.isdir(subpath): #在每一個文件夾中存放着一個人的許多照片 names.append(subdir) #遍歷文件夾中的圖片文件 for filename in os.listdir(subpath): imgpath=os.path.join(subpath,filename) img=cv2.imread(imgpath,cv2.IMREAD_COLOR) gray_img=cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) #cv2.imshow('1',img) #cv2.waitKey(0) images.append(gray_img) labels.append(label) label+=1 images=np.asarray(images) #names=np.asarray(names) labels=np.asarray(labels) return images,labels,names #檢驗訓練結果 def FaceRec(data): #加載訓練的數據 X,y,names=LoadImages(data) #print('x',X) model=cv2.face.EigenFaceRecognizer_create() model.train(X,y) #打開攝像頭 camera=cv2.VideoCapture(0) cv2.namedWindow('Dynamic') #創建級聯分類器 face_casecade=cv2.CascadeClassifier('../haarcascades/haarcascade_frontalface_default.xml') while(True): #讀取一幀圖像 #ret:圖像是否讀取成功 #frame：該幀圖像 ret,frame=camera.read() #判斷圖像是否讀取成功 #print('ret',ret) if ret: #轉換為灰度圖 gray_img=cv2.cvtColor(frame,cv2.COLOR_BGR2GRAY) #利用級聯分類器鑒別人臉 faces=face_casecade.detectMultiScale(gray_img,1.3,5) #遍歷每一幀圖像，畫出矩形 for (x,y,w,h) in faces: frame=cv2.rectangle(frame,(x,y),(x+w,y+h),(255,0,0),2) #藍色 roi_gray=gray_img[y:y+h,x:x+w] try: #將圖像轉換為寬92 高112的圖像 #resize（原圖像，目標大小，（插值方法）interpolation=，） roi_gray=cv2.resize(roi_gray,(92,112),interpolation=cv2.INTER_LINEAR) params=model.predict(roi_gray) print('Label:%s,confidence:%.2f'%(params[0],params[1])) ''' putText:給照片添加文字 putText(輸入圖像，'所需添加的文字'，左上角的坐標，字體，字體大小，顏色，字體粗細) ''' cv2.putText(frame,names[params[0]],(x,y-20),cv2.FONT_HERSHEY_SIMPLEX,1,255,2) except: continue cv2.imshow('Dynamic',frame) #按下q鍵退出 if cv2.waitKey(100) & 0xff==ord('q'): break camera.release() cv2.destroyAllWindows() if __name__=='__main__': data='./face' #generator(data) FaceRec(data)
2018.10.28