Opencv攝像頭實時人臉識別

• Introduction

網上存在很多人臉識別的文章，這篇文章是我的一個作業，重在通過攝像頭實時采集人臉信息，進行人臉檢測和人臉識別，並將識別結果顯示在左上角。

利用 OpenCV 實現一個實時的人臉識別系統，人臉庫采用 ORL FaceDatabase (網上下載) ，另外在數據庫中增加了作業中自帶的20張照片和自己利用攝像頭采集到的10張照片，系統利用攝像頭實時的采集到場景圖像，從中檢測出人臉用方框標出，並利用提供的數據庫進行人臉識別，並在圖像左上角顯示相匹配的數據庫圖片。

• Method

算法流程分兩步，分別是人臉檢測和人臉識別。人臉檢測使用的是 ViolaJones 人臉檢測方法，利用樣本的 Haar-like 特征進行分類器訓練，得到級聯boosted 分類器，加載訓練好的人臉分類器，利用分類器在視頻幀中查找人臉區域；人臉識別利用了局部二進制模式直方圖。

• Haar-like 特征

Haar-like 特征如下圖所示

 

圖1 Haar-like 特征

• LBPH

 

人臉識別常用的方法有三種，Eigenfaces、Fisherfaces 和 LBPH；對於高維的圖像空間，我們首先應該進行降維操作。LBP 不把圖像看做高維的矢量，而是通過物體的局部特征來描述。將每個像素和其相鄰像素對比形成局部的結構，把該像素看做中心，並以該值對鄰接像素做閾值處理，如果臨界像素的亮度大於該像素則為 1 否則為 0，這樣每個像素點都可以用一個二進制數來表示，比如一個使用 3*3 臨界點的 LBP 操作如下圖所示：

圖2 LBP

• Implementation
• 識別訓練

利用准備好的數據庫進行識別訓練：首先我們利用Opencv安裝文件中的python腳本create_csv.py建立CSV文件，文件中每條記錄如：orl/s13/2.pgm;12，分號之前是圖片所存路徑，而分號之后是圖片的標簽號，每一組圖片對應着唯一的標簽號；之后利用代碼中的train_data和read_csv函數對數據集進行訓練。使用到的 OpenCV 類和函數有：FaceRecognizer，createLBPHFaceRecognizer

• 人臉檢測

運用Opencv安裝文件中的haarcascade_frontalface_alt.xml文件，使用分類器在視頻幀中查找人臉區域，並用綠色方框標出。用到的 OpenCV 類和函數有：CascadeClassifier,detectMultiScale。

• 人臉識別

讀取訓練好的 yaml文件，對每個監測到的區域的圖像分類，並在視頻幀人臉區域上方顯示分類結果（分類結果顯示為標簽和可信度），在左上角顯示縮略圖。用到的 OpenCV 函數主要有:predict.

• Code

看到評論，大家需要config.h，抱歉事情多添加有些晚，我放在下面了，有什么問題歡迎交流~

 

#include "opencv2/core/core.hpp"
#include "opencv2/contrib/contrib.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/objdetect/objdetect.hpp"

#include <iostream>
#include <fstream>
#include <sstream>
#include <string.h>

char *FACES_TXT_PATH = "face.txt";
char *HARR_XML_PATH = "haarcascade_frontalface_alt.xml";
char *FACES_MODEL = "face.yaml";
char *POTRAITS ="potraits.jpg";
int DEVICE_ID = 0;

 

主文件內容：

 

/*頭文件：*/
#include "opencv2/core/core.hpp"
#include "opencv2/contrib/contrib.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/imgproc/imgproc.hpp"
#include "opencv2/objdetect/objdetect.hpp"

#include <iostream>
#include <fstream>
#include <sstream>
#include <string.h>

char *FACES_TXT_PATH = "face.txt";
char *HARR_XML_PATH = "haarcascade_frontalface_alt.xml";
char *FACES_MODEL = "face.yaml";
char *POTRAITS ="potraits.jpg";
int DEVICE_ID = 0;

/*主文件*/
#include "config.h"

using namespace cv;
using namespace std;
int FACE_WIDHT=92;
int FACE_HEIGHT=112;
int POTRITE_WIDTH = 100;
int POTRITE_HEIGHT = 100;

static void read_csv(const string& filename, vector<Mat>& images, vector<int>& labels, char separator = ';') {
    std::ifstream file(filename.c_str(), ifstream::in);
    if (!file) {
        string error_message = "找不到文件，請核對路徑";
        CV_Error(CV_StsBadArg, error_message);
    }
    string line, path, classlabel;
    while (getline(file, line)) {
        stringstream liness(line);
        getline(liness, path, separator);
        getline(liness, classlabel);
        if(!path.empty() && !classlabel.empty()) {
            images.push_back(imread(path, 0));
            labels.push_back(atoi(classlabel.c_str()));
        }
    }

}

/*利用csv文件讀取數據集並訓練對應模型*/
void train_data(String fn_csv)
{    
    vector<Mat> images;
    vector<int> labels;
    //獲取數據集，如果出錯拋出異常
    try {
        read_csv(fn_csv, images, labels);        
    }
    catch (cv::Exception& e) {
        cerr << "打開文件失敗 \"" << fn_csv << "\". 原因： " << e.msg << endl;
        exit(1);
    }

    // 如果訓練集數量不夠退出
    if(images.size() <= 1) {
        string error_message = "訓練集圖片少於2";
        CV_Error(CV_StsError, error_message);
    }

    //訓練模型
    Ptr<FaceRecognizer> model = createLBPHFaceRecognizer();
    model->train(images, labels);
    model->save(FACES_MODEL);
}

void show_portrait(Mat &potrait, Mat &frame) {
    int channels = potrait.channels();
    int nRows = potrait.rows;
    int nCols = potrait.cols*channels;
    
    uchar *p_p, *p_f;
    for(auto i=0; i<nRows; i++) {
        p_p = potrait.ptr<uchar>(i);
        p_f = frame.ptr<uchar>(i);
        for(auto j=0; j<nCols; j++) {
            p_f[j*3] = p_p[j];
            p_f[j*3+1] = p_p[j+1];
            p_f[j*3+2] = p_p[j+2];
        }
    }
    
}

void makePotraitImages(vector<Mat> potraits) {
    int rows = potraits.size()/6;
    if(potraits.size()-rows *6>0)rows++;
    rows *= POTRITE_HEIGHT;
    int cols = 6*POTRITE_HEIGHT;
    Mat potrait_s = Mat(rows,cols,CV_8UC3);
    rows = POTRITE_HEIGHT;
    cols = POTRITE_WIDTH;
    uchar *p_ps, *p_p;
    for(auto i=0; i<potraits.size(); i++) {
        for(auto j=0; j<rows; j++) {
            p_ps = potrait_s.ptr<uchar>(i/6*POTRITE_HEIGHT+j)+3*(i%6)*POTRITE_WIDTH;
            p_p = potraits[i].ptr<uchar>(j);
            for(auto k=0; k<cols; k++) {
                p_ps[k*3] = p_p[k];
                p_ps[k*3+1] = p_p[k+1];
                p_ps[k*3+2] = p_p[k+2];
            }
        }
    }
    imwrite(POTRAITS, potrait_s);
}

void loadPortraits(const string& filename, vector<Mat>& images, char separator = ';') {
    string fn_csv = string(FACES_TXT_PATH);
    std::ifstream file(fn_csv.c_str(), ifstream::in);
    if (!file) {
        string error_message = "找不到文件，請核對路徑.";
        CV_Error(CV_StsBadArg, error_message);
    }
    string line, path, classlabel;
    int label(0);
    while (getline(file, line)) {
        stringstream liness(line);
        getline(liness, path, separator);
        getline(liness, classlabel);
        if(!path.empty() && !classlabel.empty()) {
            if(atoi(classlabel.c_str()) != label) {
                Mat potrait = imread(path, 0);
                resize(potrait, potrait,Size(POTRITE_WIDTH, POTRITE_HEIGHT));
                images.push_back(potrait);
                label = atoi(classlabel.c_str());
            }
        }
    }
}

int main(int argc, const char *argv[]) {
    // 保存圖像和對應標簽的向量，要求同一個人的圖像必須對應相同的標簽
    string fn_csv = string(FACES_TXT_PATH);
    string fn_haar = string(HARR_XML_PATH);

    Ptr<FaceRecognizer> model = createLBPHFaceRecognizer();
    FileStorage model_file(FACES_MODEL, FileStorage::READ);    
    if(!model_file.isOpened()){
        cout<<"無法找到模型，訓練中..."<<endl;
        train_data(fn_csv);//訓練數據集，1表示EigenFace 2表示FisherFace 3表示LBPHFace
    }
    model->load(model_file);
    model_file.release();
    vector<Mat> potraits;
    loadPortraits(FACES_MODEL,potraits);
    makePotraitImages(potraits);
    CascadeClassifier haar_cascade;
    haar_cascade.load(fn_haar);

    VideoCapture cap(DEVICE_ID);
    if(!cap.isOpened()) {
        cerr << "設備 " << DEVICE_ID << "無法打開" << endl;
        return -1;
    }

    Mat frame;
    for(;;) {
        cap >> frame;
        if(!frame.data)continue;
        // 拷貝現有frame
        Mat original = frame.clone();
        // 灰度化
        Mat gray;
        cvtColor(original, gray, CV_BGR2GRAY);
        // 識別frame中的人臉
        vector< Rect_<int> > faces;
        haar_cascade.detectMultiScale(gray, faces);
        
        if(faces.size() != 0)
        {
            int max_area_rect=0;
            for(int i = 0; i < 1; i++) {
                if(faces[i].area() > faces[max_area_rect].area()){
                    max_area_rect = i;
                }
            
            }

            // 順序處理
            Rect face_i = faces[max_area_rect];

            Mat face = gray(face_i);
            rectangle(original, face_i, CV_RGB(0, 255,0), 1);
            int pridicted_label = -1;
            double predicted_confidence = 0.0;
            model->predict(face, pridicted_label, predicted_confidence);
            string result_text = format("Prediction = %d confidence=%f", pridicted_label, predicted_confidence);
            int text_x = std::max(face_i.tl().x - 10, 0);
            int text_y = std::max(face_i.tl().y - 10, 0);
            putText(original,result_text,  Point(text_x, text_y),FONT_HERSHEY_PLAIN, 1.0, CV_RGB(0,255,0), 2.0);
            if(pridicted_label >0)
                show_portrait(potraits[pridicted_label], original);
        }
        // 顯示結果:
        imshow("face_recognizer", original);

        char key = (char) waitKey(20);
        if(key == 32)
            exit(0);;
    }
    return 0;
}

• Experiment

圖3 結果展示

圖4 人臉庫拼圖