Python 3 利用 Dlib 實現攝像頭實時人臉識別

0. 引言

利用 Python 開發，借助 Dlib 庫捕獲攝像頭中的人臉，提取人臉特征，通過計算特征值之間的歐氏距離，來和預存的人臉特征進行對比，判斷是否匹配，達到人臉識別的目的；

 

可以從攝像頭中摳取人臉圖片存儲到本地，然后提取構建預設人臉特征；

根據摳取的 / 已有的同一個人多張人臉圖片提取 128D 特征值，然后計算該人的 128D 特征均值；

然后和攝像頭中實時獲取到的人臉提取出的特征值，計算歐氏距離，判定是否為同一張人臉；　　

Python + OpenCV + Dlib ; 

 

識別模型：基於 Dlib 的 ResNet 預訓練模型（dlib_face_recognition_resnet_model_v1.dat）

識別算法：ResNet 神經網絡（This model is a ResNet network with 29 conv layers. It's essentially a version of the ResNet-34 network from the paper Deep Residual Learning for Image Recognition by He, Zhang, Ren, and Sun with a few layers removed and the number of filters per layer reduced by half）

 

1. 人臉檢測

faces = detector(img_gray, 0) -> <class 'dlib.dlib.rectangles'> -> 

2. 計算特征點

shape = predictor(img_rd, faces[i]) -> <class 'dlib.dlib.full_object_detection'> -> 

3. 特征描述子

facerec.compute_face_descriptor(img_rd, shape) -> <class 'dlib.dlib.vector'>

 

博客中代碼以 GitHub 為准，博客中可能沒有及時更新；

　　# Blog : 　　 http://www.cnblogs.com/AdaminXie
　　# GitHub : 　 https://github.com/coneypo/Dlib_face_recognition_from_camera

Features :

• 支持人臉數據采集，自行建立人臉數據庫 / Support face register
• 調用攝像頭實時人臉檢測和識別 / Using camera to real-time detect and recognize faces
• 支持多張人臉 / Support multi-faces

 

人臉識別 / Face Recognition 的說明：

Wikipedia 上關於人臉識別系統 / Face Recognition System 的描述：they work by comparing selected facial features from given image with faces within a database.

本項目中就是比較 預設的人臉的特征 和 攝像頭實時獲取到的人臉的特征 ；

核心就是 提取 128D 人臉特征，然后計算 攝像頭人臉特征 和 預設的特征臉的歐式距離，進行比對；

 

效果如下：

　　 

圖 1 攝像頭多個人臉時識別效果 

 

1. 總體流程

先說下 人臉檢測 ( Face detection ) 和 人臉識別 ( Face Recognition ) ，前者是達到檢測出場景中人臉的目的就可以了，而后者不僅需要檢測出人臉，還要和已有人臉數據進行比對，識別出是否在數據庫中，或者進行身份標注之類處理，人臉檢測和人臉識別兩者有時候可能會被理解混淆；

我的之前一些項目都是用 Dlib 做人臉檢測這塊，這個項目想要實現的功能是人臉識別功能，借助的是 Dlib 官網中 face_recognition.py 這個例程 （ Link：http://dlib.net/face_recognition.py.html ）；

 

我們直接利用“dlib_face_recognition_resnet_model_v1.dat” 這個 pre-trained model，提取人臉圖像的 128D 特征，然后比對不同人臉圖片的 128D 特征的歐式距離，設定一個 Threshold / 閾值 來判斷是否為同一張臉；

# face recognition model, the object maps human faces into 128D vectors
facerec = dlib.face_recognition_model_v1("dlib_face_recognition_resnet_model_v1.dat") 3 
shape = predictor(img, dets[0]) 5 face_descriptor = facerec.compute_face_descriptor(img, shape)

 

　　 

 

圖 2 總體設計流程

 

2.源碼介紹

主要有

• get_faces_from_camera.py 
  
• features_extraction_to_csv.py
• face_reco_from_camera.py

這三個 Python 文件，接下來會分別介紹實現功能；

 

2.1 get_faces_from_camera.py / 人臉注冊錄入

人臉識別需要將 提取到的圖像數據 和 已有圖像數據 進行比對分析，所以這部分代碼實現的功能就是 人臉錄入；

程序會生成一個窗口，顯示調用的攝像頭實時獲取的圖像；

（關於攝像頭的調用方式可以參考這里： Python 3 利用 Dlib 19.7 實現攝像頭人臉檢測特征點標定）；

　　

然后根據鍵盤輸入進行人臉捕獲：

• “N” 新錄入人臉，新建文件夾 person_X/  用來存儲某人的人臉圖像
•   "S" 開始捕獲人臉，將捕獲到的人臉放到 person_X/ 路徑下
• “Q” 退出窗口

　　

攝像頭的調用是利用 opencv 庫的 cv2.VideoCapture(0), 此處參數為 0 代表調用的是筆記本的默認攝像頭，你也可以讓它調用傳入已有視頻文件；

可以參考 https://github.com/coneypo/Dlib_face_recognition_from_camera/blob/master/how_to_use_camera.py 如何通過 OpenCV 調用攝像頭； 

　

 

圖 3  get_face_from_camera.py 的界面

 　　

“N”+“S”之后捕獲到的一組人臉示例；

圖 4 捕獲到的一組人臉

 

get_faces_from_camera.py 源碼:

 

# 進行人臉錄入 / face register
# 錄入多張人臉 / support multi-faces

# Author:   coneypo
# Blog:     http://www.cnblogs.com/AdaminXie
# GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera
# Mail:     [e-mail]

# Created at 2018-05-11
# Updated at 2020-04-02

import dlib         # 人臉處理的庫 Dlib
import numpy as np  # 數據處理的庫 Numpy
import cv2          # 圖像處理的庫 OpenCv
import os           # 讀寫文件
import shutil       # 讀寫文件

# Dlib 正向人臉檢測器 / frontal face detector
detector = dlib.get_frontal_face_detector()

# OpenCv 調用攝像頭 / Use camera
cap = cv2.VideoCapture(0)

# 人臉截圖的計數器 / The counter for screen shoot
cnt_ss = 0

# 存儲人臉的文件夾 / The folder to save face images
current_face_dir = ""

# 保存 faces images 的路徑 / The directory to save images of faces
path_photos_from_camera = "data/data_faces_from_camera/"


# 1. 新建保存人臉圖像文件和數據CSV文件夾
# 1. Mkdir for saving photos and csv
def pre_work_mkdir():

    # 新建文件夾 / make folders to save faces images and csv
    if os.path.isdir(path_photos_from_camera):
        pass
    else:
        os.mkdir(path_photos_from_camera)


pre_work_mkdir()


##### optional/可選, 默認關閉 #####
# 2. 刪除之前存的人臉數據文件夾
# 2. Delete the old data of faces
def pre_work_del_old_face_folders():
    # 刪除之前存的人臉數據文件夾
    # 刪除 "/data_faces_from_camera/person_x/"...
    folders_rd = os.listdir(path_photos_from_camera)
    for i in range(len(folders_rd)):
        shutil.rmtree(path_photos_from_camera+folders_rd[i])

    if os.path.isfile("data/features_all.csv"):
        os.remove("data/features_all.csv")

# 這里在每次程序錄入之前, 刪掉之前存的人臉數據
# 如果這里打開，每次進行人臉錄入的時候都會刪掉之前的人臉圖像文件夾 person_1/,person_2/,person_3/...
# If enable this function, it will delete all the old data in dir person_1/,person_2/,/person_3/...
# pre_work_del_old_face_folders()
##################################


# 3. Check people order: person_cnt
# 如果有之前錄入的人臉 / If the old folders exists
# 在之前 person_x 的序號按照 person_x+1 開始錄入 / Start from person_x+1
if os.listdir("data/data_faces_from_camera/"):
    # 獲取已錄入的最后一個人臉序號 / Get the num of latest person
    person_list = os.listdir("data/data_faces_from_camera/")
    person_num_list = []
    for person in person_list:
        person_num_list.append(int(person.split('_')[-1]))
    person_cnt = max(person_num_list)

# 如果第一次存儲或者沒有之前錄入的人臉, 按照 person_1 開始錄入
# Start from person_1
else:
    person_cnt = 0

# 之后用來控制是否保存圖像的 flag / The flag to control if save
save_flag = 1

# 之后用來檢查是否先按 'n' 再按 's' / The flag to check if press 'n' before 's'
press_n_flag = 0

while cap.isOpened():
    flag, img_rd = cap.read()
    # print(img_rd.shape)
    # It should be 480 height * 640 width in Windows and Ubuntu by default
    # Maybe 1280x720 in macOS

    kk = cv2.waitKey(1)

    # 人臉 / Faces
    faces = detector(img_rd, 0)

    # 待會要寫的字體 / Font to write
    font = cv2.FONT_ITALIC

    # 4. 按下 'n' 新建存儲人臉的文件夾 / press 'n' to create the folders for saving faces
    if kk == ord('n'):
        person_cnt += 1
        current_face_dir = path_photos_from_camera + "person_" + str(person_cnt)
        os.makedirs(current_face_dir)
        print('\n')
        print("新建的人臉文件夾 / Create folders: ", current_face_dir)

        cnt_ss = 0              # 將人臉計數器清零 / clear the cnt of faces
        press_n_flag = 1        # 已經按下 'n' / have pressed 'n'

    # 檢測到人臉 / Face detected
    if len(faces) != 0:
        # 矩形框 / Show the rectangle box of face
        for k, d in enumerate(faces):
            # 計算矩形大小
            # Compute the width and height of the box
            # (x,y), (寬度width, 高度height)
            pos_start = tuple([d.left(), d.top()])
            pos_end = tuple([d.right(), d.bottom()])

            # 計算矩形框大小 / compute the size of rectangle box
            height = (d.bottom() - d.top())
            width = (d.right() - d.left())

            hh = int(height/2)
            ww = int(width/2)

            # 設置顏色 / the color of rectangle of faces detected
            color_rectangle = (255, 255, 255)

            # 判斷人臉矩形框是否超出 480x640
            if (d.right()+ww) > 640 or (d.bottom()+hh > 480) or (d.left()-ww < 0) or (d.top()-hh < 0):
                cv2.putText(img_rd, "OUT OF RANGE", (20, 300), font, 0.8, (0, 0, 255), 1, cv2.LINE_AA)
                color_rectangle = (0, 0, 255)
                save_flag = 0
                if kk == ord('s'):
                    print("請調整位置 / Please adjust your position")
            else:
                color_rectangle = (255, 255, 255)
                save_flag = 1

            cv2.rectangle(img_rd,
                          tuple([d.left() - ww, d.top() - hh]),
                          tuple([d.right() + ww, d.bottom() + hh]),
                          color_rectangle, 2)

            # 根據人臉大小生成空的圖像 / Create blank image according to the shape of face detected
            img_blank = np.zeros((int(height*2), width*2, 3), np.uint8)

            if save_flag:
                # 5. 按下 's' 保存攝像頭中的人臉到本地 / Press 's' to save faces into local images
                if kk == ord('s'):
                    # 檢查有沒有先按'n'新建文件夾 / check if you have pressed 'n'
                    if press_n_flag:
                        cnt_ss += 1
                        for ii in range(height*2):
                            for jj in range(width*2):
                                img_blank[ii][jj] = img_rd[d.top()-hh + ii][d.left()-ww + jj]
                        cv2.imwrite(current_face_dir + "/img_face_" + str(cnt_ss) + ".jpg", img_blank)
                        print("寫入本地 / Save into：", str(current_face_dir) + "/img_face_" + str(cnt_ss) + ".jpg")
                    else:
                        print("請在按 'S' 之前先按 'N' 來建文件夾 / Please press 'N' before 'S'")

    # 顯示人臉數 / Show the numbers of faces detected
    cv2.putText(img_rd, "Faces: " + str(len(faces)), (20, 100), font, 0.8, (0, 255, 0), 1, cv2.LINE_AA)

    # 添加說明 / Add some statements
    cv2.putText(img_rd, "Face Register", (20, 40), font, 1, (0, 0, 0), 1, cv2.LINE_AA)
    cv2.putText(img_rd, "N: Create face folder", (20, 350), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)
    cv2.putText(img_rd, "S: Save current face", (20, 400), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)
    cv2.putText(img_rd, "Q: Quit", (20, 450), font, 0.8, (0, 0, 0), 1, cv2.LINE_AA)

    # 6. 按下 'q' 鍵退出 / Press 'q' to exit
    if kk == ord('q'):
        break

    # 如果需要攝像頭窗口大小可調 / Uncomment this line if you want the camera window is resizeable
    # cv2.namedWindow("camera", 0)

    cv2.imshow("camera", img_rd)

# 釋放攝像頭 / Release camera and destroy all windows
cap.release()
cv2.destroyAllWindows()

 

 

考慮到有可能需要保存的矩形框超出攝像頭范圍，對於這種異常，如果矩形框超出范圍，矩形框會從白變紅，然后提示 "OUT OF RANGE";

 

圖 5 人臉錄入異常（Out of range）處理

 

get_face_from_camera.py 的輸出 log

新建的人臉文件夾 / Create folders:  data/data_faces_from_camera/person_1
寫入本地 / Save into： data/data_faces_from_camera/person_1/img_face_1.jpg
寫入本地 / Save into： data/data_faces_from_camera/person_1/img_face_2.jpg
寫入本地 / Save into： data/data_faces_from_camera/person_1/img_face_3.jpg
寫入本地 / Save into： data/data_faces_from_camera/person_1/img_face_4.jpg


新建的人臉文件夾 / Create folders:  data/data_faces_from_camera/person_2
寫入本地 / Save into： data/data_faces_from_camera/person_2/img_face_1.jpg
寫入本地 / Save into： data/data_faces_from_camera/person_2/img_face_2.jpg


新建的人臉文件夾 / Create folders:  data/data_faces_from_camera/person_3
寫入本地 / Save into： data/data_faces_from_camera/person_3/img_face_1.jpg
寫入本地 / Save into： data/data_faces_from_camera/person_3/img_face_2.jpg

 

2.2 features_extraction_to_csv.py / 將圖像文件中人臉數據提取出來存入 CSV

這部分代碼實現的功能是將之前捕獲到的人臉圖像文件，提取出 128D 特征，然后計算出某人人臉數據的特征均值存入 CSV 中，方便之后識別時候進行比對；

利用 numpy.mean() 計算特征均值，生成一個存儲所有錄入人臉數據 database 的 "features_all.csv"；

 

features_extraction_to_csv.py 源碼:

 

# 從人臉圖像文件中提取人臉特征存入 CSV
# Features extraction from images and save into features_all.csv

# Author:   coneypo
# Blog:     http://www.cnblogs.com/AdaminXie
# GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera
# Mail:     [e-mail]

# Created at 2018-05-11
# Updated at 2020-04-02

import cv2
import os
import dlib
from skimage import io
import csv
import numpy as np

# 要讀取人臉圖像文件的路徑
path_images_from_camera = "data/data_faces_from_camera/"

# Dlib 正向人臉檢測器
detector = dlib.get_frontal_face_detector()

# Dlib 人臉預測器
predictor = dlib.shape_predictor("data/data_dlib/shape_predictor_68_face_landmarks.dat")

# Dlib 人臉識別模型
# Face recognition model, the object maps human faces into 128D vectors
face_rec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")


# 返回單張圖像的 128D 特征
def return_128d_features(path_img):
    img_rd = io.imread(path_img)
    faces = detector(img_rd, 1)

    print("%-40s %-20s" % ("檢測到人臉的圖像 / image with faces detected:", path_img), '\n')

    # 因為有可能截下來的人臉再去檢測，檢測不出來人臉了
    # 所以要確保是 檢測到人臉的人臉圖像 拿去算特征
    if len(faces) != 0:
        shape = predictor(img_rd, faces[0])
        face_descriptor = face_rec.compute_face_descriptor(img_rd, shape)
    else:
        face_descriptor = 0
        print("no face")

    return face_descriptor


# 將文件夾中照片特征提取出來, 寫入 CSV
def return_features_mean_personX(path_faces_personX):
    features_list_personX = []
    photos_list = os.listdir(path_faces_personX)
    if photos_list:
        for i in range(len(photos_list)):
            # 調用return_128d_features()得到128d特征
            print("%-40s %-20s" % ("正在讀的人臉圖像 / image to read:", path_faces_personX + "/" + photos_list[i]))
            features_128d = return_128d_features(path_faces_personX + "/" + photos_list[i])
            #  print(features_128d)
            # 遇到沒有檢測出人臉的圖片跳過
            if features_128d == 0:
                i += 1
            else:
                features_list_personX.append(features_128d)
    else:
        print("文件夾內圖像文件為空 / Warning: No images in " + path_faces_personX + '/', '\n')

    # 計算 128D 特征的均值
    # personX 的 N 張圖像 x 128D -> 1 x 128D
    if features_list_personX:
        features_mean_personX = np.array(features_list_personX).mean(axis=0)
    else:
        features_mean_personX = '0'

    return features_mean_personX


# 獲取已錄入的最后一個人臉序號 / get the num of latest person
person_list = os.listdir("data/data_faces_from_camera/")
person_num_list = []
for person in person_list:
    person_num_list.append(int(person.split('_')[-1]))
person_cnt = max(person_num_list)

with open("data/features_all.csv", "w", newline="") as csvfile:
    writer = csv.writer(csvfile)
    for person in range(person_cnt):
        # Get the mean/average features of face/personX, it will be a list with a length of 128D
        print(path_images_from_camera + "person_"+str(person+1))
        features_mean_personX = return_features_mean_personX(path_images_from_camera + "person_"+str(person+1))
        writer.writerow(features_mean_personX)
        print("特征均值 / The mean of features:", list(features_mean_personX))
        print('\n')
    print("所有錄入人臉數據存入 / Save all the features of faces registered into: data/features_all.csv")

 

 

我們可以看下對於某張圖片，face_descriptor 這個 128D vectors 的輸出結果：

綠色框內是我們的返回 128D 特征的函數；

在紅色框內調用該函數來計算 img_face_13.jpg；

可以看到黃色框中的輸出為 128D 的向量；

圖 6 返回單張圖像的 128D 特征的計算結果

 

之后就需要人臉圖像進行批量化操作，提取出 128D 的特征，然后計算特征均值，存入 features_all.csv；

features_all.csv 是一個 n 行 128 列的 CSV， n 是錄入的人臉數，128 列是某人的 128D 特征；

這存儲的就是 錄入的人臉數據，之后 攝像頭捕獲的人臉 將要拿過來和 這些特征值 進行比對，如果歐式距離比較近的話，就可以認為是同一張人臉；

 

 get_features_into_CSV.py 的輸出 log：

##### person_1 #####
data/data_csvs_from_camera/person_1.csv
正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_1/img_face_1.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_1.jpg 

正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_1/img_face_2.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_2.jpg 

正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_1/img_face_3.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_3.jpg 

正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_1/img_face_4.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_1/img_face_4.jpg 

##### person_2 #####
data/data_csvs_from_camera/person_2.csv
正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_2/img_face_1.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_2/img_face_1.jpg 

正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_2/img_face_2.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_2/img_face_2.jpg 

##### person_3 #####
data/data_csvs_from_camera/person_3.csv
正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_3/img_face_1.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_3/img_face_1.jpg 

正在讀的人臉圖像 / image to read:                data/data_faces_from_camera/person_3/img_face_2.jpg
檢測到人臉的圖像 / image with faces detected:    data/data_faces_from_camera/person_3/img_face_2.jpg 


...

 

2.3 face_reco_from_camera.py / 實時人臉識別對比分析

這部分源碼實現的功能：調用攝像頭，捕獲攝像頭中的人臉，然后如果檢測到人臉，將 攝像頭中的人臉提取出 128D 的特征，然后和 之前錄入人臉的 128D 特征 進行計算歐式距離，如果比較小，可以判定為一個人，否則不是一個人；

偽代碼如下：

# 人臉檢測器/預測器/識別模型
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")

faces = detector(img_gray, 0)

# 如果檢測到人臉
if len(faces) != 0:
    # 遍歷所有檢測到的人臉
    for i in range(len(faces)):
        # 進行人臉比對
        shape = predictor(img_rd, faces[i])
        facerec.compute_face_descriptor(img_rd, shape)

 

 關於用到的 dlib 檢測器，預測器，識別器:

1. dlib.get_frontal_face_detector

Link:

http://dlib.net/python/index.html#dlib.get_frontal_face_detector

簡介 / intro:

返回默認的人臉檢測器，為下面的 fhog_object_detectorm / Returns the default face detector

 

2. class dlib.fhog_object_detector

Link:

http://dlib.net/python/index.html#dlib.fhog_object_detector

簡介 / intro:

基於滑動窗的HOG進行目標檢測;

This object represents a sliding window histogram-of-oriented-gradients based object detector.

參數 / parameters:

__call__(self: dlib.fhog_object_detector, image: array, upsample_num_times: int=0L) → dlib.rectangles

 

3. class dlib.shape_predictor

Link:

http://dlib.net/python/index.html#dlib.shape_predictor

簡介 / intro:

人臉圖像作為輸入, 輸出面部特征點;

This object is a tool that takes in an image region containing some object and outputs a set of point locations that define the pose of the object. 

The classic example of this is human face pose prediction, where you take an image of a human face as input and are expected to identify

the locations of important facial landmarks such as the corners of the mouth and eyes, tip of the nose, and so forth.

參數 / parameters:

__call__(self: dlib.shape_predictor, image: array, box: dlib.rectangle) → dlib.full_object_detection

輸入: dlib.rectangle 輸出: dlib.full_object_detection

 

4. class dlib.face_recognition_model_v1

Link:

http://dlib.net/python/index.html#dlib.face_recognition_model_v1

簡介 / intro:

將人臉轉換為128D特征向量, 這樣的話相似人臉會比較相近, 不相像的會比較遠;

This object maps human faces into 128D vectors where pictures of the same person are mapped near to each other and pictures of different people are mapped far apart.

The constructor loads the face recognition model from a file. The model file is available here: http://dlib.net/files/dlib_face_recognition_resnet_model_v1.dat.bz2

參數 / parameters:

compute_face_descriptor(self: dlib.face_recognition_model_v1, img: numpy.ndarray[(rows,cols,3),uint8], face: dlib.full_object_detection, num_jitters: int=0L, padding: float=0.25) -> dlib.vector

 

通過 print(type()) 可以更清楚的看到 dlib 對象的傳遞:

# 人臉檢測器/預測器/識別模型
detector = dlib.get_frontal_face_detector()
predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')
facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")

faces = detector(img_gray, 0)

# 如果檢測到人臉
if len(faces) != 0:
    print(type(faces)                                                # <class 'dlib.dlib.rectangles'>
    # 遍歷所有檢測到的人臉
    for i in range(len(faces)):
        # 進行人臉比對
        shape = predictor(img_rd, faces[i])
        print(type(shape))                                            # <class 'dlib.dlib.full_object_detection'>
        facerec.compute_face_descriptor(img_rd, shape)
        print(type(facerec.compute_face_descriptor(img_rd, shape))    # <class 'dlib.dlib.vector'>

 

這樣一個對象傳遞過程：

faces = detector(img_gray, 0) -> <class 'dlib.dlib.rectangles'> -> 
shape = predictor(img_rd, faces[i]) -> <class 'dlib.dlib.full_object_detection'> -> 
facerec.compute_face_descriptor(img_rd, shape) -> <class 'dlib.dlib.vector'>

 

歐氏距離對比的閾值設定，是在 return_euclidean_distance 函數的 dist  變量；

我這里程序里面指定的 歐氏距離判斷閾值是 0.4，具體閾值可以根據實際情況或者測得結果進行修改；

　　

這邊做了一個，讓人名跟隨顯示在頭像下方，如果想要在人臉矩形框下方顯示人名，首先需要知道 Dlib 生成的矩形框的尺寸怎么讀取；

Dlib 返回的 dets 變量是一系列人臉的數據，此處對單張人臉處理，所以取 dets[0] 的參數；

可以通過 dets[0].top(), dets[0].bottom(), dets[0].left() 和 dets[0].right() 來確定要顯示的人名的坐標；

圖 7 dets[0].top() 等參數說明 

　　

得到矩形框的坐標，就可以獲取人名的相對位置；

這是我這邊取的坐標：

 pos_text_1 = tuple([dets[0].left(), int(dets[0].bottom()+(dets[0].bottom()-dets[0].top())/4)])

 

　　

 

 

圖 8 face_reco_from_camera.py 生成的人臉識別窗口界面

 

   如果想定制輸出顯示的名字而不是“Person_1”,"Person_2"...；

 

圖 9 定制顯示名字

 

face_reco_from_camera.py 源碼：

# 攝像頭實時人臉識別
# Real-time face recognition

# Author:   coneypo
# Blog:     http://www.cnblogs.com/AdaminXie
# GitHub:   https://github.com/coneypo/Dlib_face_recognition_from_camera

# Created at 2018-05-11
# Updated at 2020-04-02

import dlib          # 人臉處理的庫 Dlib
import numpy as np   # 數據處理的庫 numpy
import cv2           # 圖像處理的庫 OpenCv
import pandas as pd  # 數據處理的庫 Pandas
import os

# 人臉識別模型，提取128D的特征矢量
# face recognition model, the object maps human faces into 128D vectors
# Refer this tutorial: http://dlib.net/python/index.html#dlib.face_recognition_model_v1
facerec = dlib.face_recognition_model_v1("data/data_dlib/dlib_face_recognition_resnet_model_v1.dat")


# 計算兩個128D向量間的歐式距離
# Compute the e-distance between two 128D features
def return_euclidean_distance(feature_1, feature_2):
    feature_1 = np.array(feature_1)
    feature_2 = np.array(feature_2)
    dist = np.sqrt(np.sum(np.square(feature_1 - feature_2)))
    return dist


# 1. Check 存放所有人臉特征的 csv
if os.path.exists("data/features_all.csv"):
    path_features_known_csv = "data/features_all.csv"
    csv_rd = pd.read_csv(path_features_known_csv, header=None)

    # 用來存放所有錄入人臉特征的數組
    # The array to save the features of faces in the database
    features_known_arr = []

    # 2. 讀取已知人臉數據
    # Print known faces
    for i in range(csv_rd.shape[0]):
        features_someone_arr = []
        for j in range(0, len(csv_rd.iloc[i])):
            features_someone_arr.append(csv_rd.iloc[i][j])
        features_known_arr.append(features_someone_arr)
    print("Faces in Database：", len(features_known_arr))

    # Dlib 檢測器和預測器
    # The detector and predictor will be used
    detector = dlib.get_frontal_face_detector()
    predictor = dlib.shape_predictor('data/data_dlib/shape_predictor_68_face_landmarks.dat')

    # 創建 cv2 攝像頭對象
    cap = cv2.VideoCapture(0)

    # 3. When the camera is open
    while cap.isOpened():

        flag, img_rd = cap.read()
        faces = detector(img_rd, 0)

        # 待會要寫的字體 font to write later
        font = cv2.FONT_ITALIC

        # 存儲當前攝像頭中捕獲到的所有人臉的坐標/名字
        # The list to save the positions and names of current faces captured
        pos_namelist = []
        name_namelist = []

        kk = cv2.waitKey(1)

        # 按下 q 鍵退出
        # press 'q' to exit
        if kk == ord('q'):
            break
        else:
            # 檢測到人臉 when face detected
            if len(faces) != 0:
                # 4. 獲取當前捕獲到的圖像的所有人臉的特征，存儲到 features_cap_arr
                # 4. Get the features captured and save into features_cap_arr
                features_cap_arr = []
                for i in range(len(faces)):
                    shape = predictor(img_rd, faces[i])
                    features_cap_arr.append(facerec.compute_face_descriptor(img_rd, shape))

                # 5. 遍歷捕獲到的圖像中所有的人臉
                # 5. Traversal all the faces in the database
                for k in range(len(faces)):
                    print("##### camera person", k+1, "#####")
                    # 讓人名跟隨在矩形框的下方
                    # 確定人名的位置坐標
                    # 先默認所有人不認識，是 unknown
                    # Set the default names of faces with "unknown"
                    name_namelist.append("unknown")

                    # 每個捕獲人臉的名字坐標 the positions of faces captured
                    pos_namelist.append(tuple([faces[k].left(), int(faces[k].bottom() + (faces[k].bottom() - faces[k].top())/4)]))

                    # 對於某張人臉，遍歷所有存儲的人臉特征
                    # For every faces detected, compare the faces in the database
                    e_distance_list = []
                    for i in range(len(features_known_arr)):
                        # 如果 person_X 數據不為空
                        if str(features_known_arr[i][0]) != '0.0':
                            print("with person", str(i + 1), "the e distance: ", end='')
                            e_distance_tmp = return_euclidean_distance(features_cap_arr[k], features_known_arr[i])
                            print(e_distance_tmp)
                            e_distance_list.append(e_distance_tmp)
                        else:
                            # 空數據 person_X
                            e_distance_list.append(999999999)
                    # Find the one with minimum e distance
                    similar_person_num = e_distance_list.index(min(e_distance_list))
                    print("Minimum e distance with person", int(similar_person_num)+1)

                    if min(e_distance_list) < 0.4:
                        ####### 在這里修改 person_1, person_2 ... 的名字 ########
                        # 可以在這里改稱 Jack, Tom and others
                        # Here you can modify the names shown on the camera
                        name_namelist[k] = "Person "+str(int(similar_person_num)+1)
                        print("May be person "+str(int(similar_person_num)+1))
                    else:
                        print("Unknown person")

                    # 矩形框
                    # draw rectangle
                    for kk, d in enumerate(faces):
                        # 繪制矩形框
                        cv2.rectangle(img_rd, tuple([d.left(), d.top()]), tuple([d.right(), d.bottom()]), (0, 255, 255), 2)
                    print('\n')

                # 6. 在人臉框下面寫人臉名字
                # 6. write names under rectangle
                for i in range(len(faces)):
                    cv2.putText(img_rd, name_namelist[i], pos_namelist[i], font, 0.8, (0, 255, 255), 1, cv2.LINE_AA)

        print("Faces in camera now:", name_namelist, "\n")

        cv2.putText(img_rd, "Press 'q': Quit", (20, 450), font, 0.8, (84, 255, 159), 1, cv2.LINE_AA)
        cv2.putText(img_rd, "Face Recognition", (20, 40), font, 1, (0, 0, 0), 1, cv2.LINE_AA)
        cv2.putText(img_rd, "Faces: " + str(len(faces)), (20, 100), font, 1, (0, 0, 255), 1, cv2.LINE_AA)

        cv2.imshow("camera", img_rd)

    cap.release()
    cv2.destroyAllWindows()

else:
    print('##### Warning #####', '\n')
    print("'features_all.py' not found!")
    print("Please run 'get_faces_from_camera.py' and 'features_extraction_to_csv.py' before 'face_reco_from_camera.py'", '\n')
    print('##### Warning #####')

 

face_reco_from_camera.py 輸出 log：

##### camera person 1 #####
with person 1 the e distance: 0.21153867687451736
with person 2 the e distance: 0.20646924127167549
with person 4 the e distance: 0.19824469336759548
Minimum e distance with person 4
May be person 4


##### camera person 2 #####
with person 1 the e distance: 0.7403020289640347
with person 2 the e distance: 0.7375521667680703
with person 4 the e distance: 0.7077921161820342
Minimum e distance with person 4
Unknown person


##### camera person 3 #####
with person 1 the e distance: 0.6975665799095466
with person 2 the e distance: 0.7070867672498581
with person 4 the e distance: 0.6727276688350984
Minimum e distance with person 4
Unknown person


Faces in camera now: ['Person 4', 'unknown', 'unknown'] 

 

如果對單個人臉，進行實時對比輸出：

圖 10 實時輸出的歐氏距離結果

 

　　通過實時的輸出結果，看的比較明顯；

　　輸出綠色部分：當是我自己時，計算出來的歐式距離基本都在 0.2 左右；

　　輸出紅色部分：而換一張圖片上去比如特朗普，明顯看到歐式距離計算結果 達到了 0.8，此時就可以判定，后來這張人臉不是一張人臉；

　　所以之前提到的歐式距離計算對比的閾值可以由此設定，本項目中取的是 dist=0.4；

　　 dist 的確切取值自己權衡，http://dlib.net/face_recognition.py.html 的說明：

 

#   When using a distance threshold of 0.6, the dlib model obtains an accuracy
# of 99.38% on the standard LFW face recognition benchmark, which is # comparable to other state-of-the-art methods for face recognition as of # February 2017. This accuracy means that, when presented with a pair of face # images, the tool will correctly identify if the pair belongs to the same # person or is from different people 99.38% of the time.

3. 總結

核心就是 提取人臉特征，然后計算歐式距離和預設的特征臉進行比對；

不過這個實時獲取攝像頭人臉進行比對，要實時的進行計算攝像頭臉的特征值，然后還要計算歐氏距離，所以計算量比較大，可能攝像頭視頻流會出現卡頓；

此項目僅個人學習愛好研究，開源供大家一起學習；

 

# 請尊重他人勞動成果，轉載或者使用源碼請注明出處：http://www.cnblogs.com/AdaminXie

# 代碼已上傳到了我的 GitHub，如果對您有幫助歡迎 Star 支持我下：https://github.com/coneypo/Dlib_face_recognition_from_camera

# 如有問題請留言或者聯系郵箱: [e-mail]

# Last update: 6 Apr