非剛性人臉跟蹤 —— 人臉檢測與初始化

一、如何初始化第一幀及檢測人臉

　　迄今為止所介紹的人臉跟蹤方法都是假設圖像中所找到的面部特征與當前的估計比較接近。雖然整個跟蹤過程中幀之間的人臉變化相當小，這樣的假設可認為很合理，但必須要面對的問題是，如何用視頻序列的第一幀來初始化模型。解決該問題的簡單方法是使用 OpenCV 內置的級聯檢測器來搜索人臉。按照數據驅動的思路，通過學習訓練使我們的系統能夠學習人臉外界矩形與人臉跟蹤特征之間的幾何關系detector_offset 向量，然后利用該向量對人臉參考形狀矩陣 reference 進行仿射變換，獲得外界矩形區域內的人臉特征點。

　　face_detector 類完全實現了該解決方案。下面這段代碼描述了該類的主要功能：

class face_detector{                       //face detector for initialisation
public:
  string detector_fname;                   // 級聯分類器名稱
  Vec3f detector_offset;                   //offset from center of detection，用來將之前訓練好的形狀模型鑲嵌到人臉上
  Mat reference;                           // 參考形狀模型
  CascadeClassifier detector;              //face detector

  vector<Point2f>                          //points for detected face in image
  detect(const Mat &im,                    //image containing face
     const float scaleFactor = 1.1,    //scale increment
     const int minNeighbours = 2,      //minimum neighbourhood size
     const Size minSize = Size(30,30));//minimum detection window size
  
  void
  train(ft_data &data,                     //training data
    const string fname,                //cascade detector
    const Mat &ref,                    //reference shape
    const bool mirror = false,         //mirror data?
    const bool visi = false,           //visualise training?
    const float frac = 0.8,            //fraction of points in detected rect
    const float scaleFactor = 1.1,     //scale increment
    const int minNeighbours = 2,       //minimum neighbourhood size
    const Size minSize = Size(30,30)); //minimum detection window size
    ...
};

 

 

　　face_detector::detect 函數將一幅圖像作為輸入，還有一些 cv::CascadeClassifier 類使用的標准參數，該函數返回對圖像中面部特征位置的粗略估計。detect 函數的具體實現如下：

vector<Point2f>
face_detector::
detect(const Mat &im,
       const float scaleFactor,
       const int minNeighbours,
       const Size minSize)
{
  //convert image to greyscale
  Mat gray; if(im.channels()==1)gray = im; else cvtColor(im,gray,CV_RGB2GRAY);

  //detect faces
  vector<Rect> faces; Mat eqIm; equalizeHist(gray,eqIm);
  detector.detectMultiScale(eqIm,faces,scaleFactor,minNeighbours,0
                |CV_HAAR_FIND_BIGGEST_OBJECT    // 只跟蹤圖像中最明顯的人臉
                |CV_HAAR_SCALE_IMAGE,minSize);
  if(faces.size() < 1){return vector<Point2f>();}
  
  // 根據人臉檢測方框來將參考模型放置到圖像中
  Rect R = faces[0];    // 人臉外界矩形
  Vec3f scale = detector_offset*R.width;
  int n = reference.rows/2; vector<Point2f> p(n);
  for(int i = 0; i < n; i++){
    p[i].x = scale[2]*reference.fl(2*i  ) + R.x + 0.5 * R.width  + scale[0];
    p[i].y = scale[2]*reference.fl(2*i+1) + R.y + 0.5 * R.height + scale[1];
  }return p;
}

 

　　

　　學習外界矩形與人臉特征點之間的幾何關系 detector_offset 可用 face_detector::train 函數實現，具體過程如下：

　　　　1. 加載級聯分類器

　　　　2. 對手工標注的每一幅圖片，使用級聯分類器搜索人臉區域

　　　　3. 判斷人臉的外接矩陣內是否包含足夠多的標注點（防止錯誤學習）

　　　　4. 如果包含足夠的標注點，則計算 detector_offset 

　　代碼如下：

void
face_detector::
train(ft_data &data,            // 包含了手工標注信息
      const string fname,        // 級聯分類器名稱
      const Mat &ref,            // 參考形狀矩陣
      const bool mirror,        // 鏡像樣本圖像標記
      const bool visi,            // 訓練過程可視化標記
      const float frac,            // 有效特征點比率閾值
      const float scaleFactor,
      const int minNeighbours,
      const Size minSize)
{
  // 載入級聯分類器
  detector.load(fname.c_str());
  detector_fname = fname; reference = ref.clone();
  vector<float> xoffset(0),yoffset(0),zoffset(0);
  for(int i = 0; i < data.n_images(); i++){
      // 獲取每一張訓練圖片
    Mat im = data.get_image(i,0); if(im.empty())continue;
    // 獲取訓練圖片對應的特征點
    vector<Point2f> p = data.get_points(i,false); int n = p.size();
    Mat pt = Mat(p).reshape(1,2*n);
    vector<Rect> faces; Mat eqIm; 
    // 直方圖均衡化
    equalizeHist(im,eqIm);
    // 人臉檢測
    detector.detectMultiScale(eqIm,faces,scaleFactor,minNeighbours,0
                  |CV_HAAR_FIND_BIGGEST_OBJECT
                  |CV_HAAR_SCALE_IMAGE,minSize);
    if(faces.size() >= 1){
      if(visi){
    // 框出人臉區域
    Mat I; cvtColor(im,I,CV_GRAY2RGB);
    for(int i = 0; i < n; i++)circle(I,p[i],1,CV_RGB(0,255,0),2,CV_AA);
    rectangle(I,faces[0].tl(),faces[0].br(),CV_RGB(255,0,0),3);
    imshow("face detector training",I); waitKey(10); 
      }
      //check if enough points are in detected rectangle
      if(this->enough_bounded_points(pt,faces[0],frac)){
    Point2f center = this->center_of_mass(pt); float w = faces[0].width;
    // X,Y 平移 Z 縮放比例
    xoffset.push_back((center.x - (faces[0].x+0.5*faces[0].width ))/w);
    yoffset.push_back((center.y - (faces[0].y+0.5*faces[0].height))/w);
    zoffset.push_back(this->calc_scale(pt)/w);
      }
    }
    if(mirror){
      im = data.get_image(i,1); if(im.empty())continue;
      p = data.get_points(i,true);
      pt = Mat(p).reshape(1,2*n);
      equalizeHist(im,eqIm);
      detector.detectMultiScale(eqIm,faces,scaleFactor,minNeighbours,0
                  |CV_HAAR_FIND_BIGGEST_OBJECT
                |CV_HAAR_SCALE_IMAGE,minSize);
      if(faces.size() >= 1){
    if(visi){
      Mat I; cvtColor(im,I,CV_GRAY2RGB);
      for(int i = 0; i < n; i++)circle(I,p[i],1,CV_RGB(0,255,0),2,CV_AA);
      rectangle(I,faces[0].tl(),faces[0].br(),CV_RGB(255,0,0),3);
      imshow("face detector training",I); waitKey(10);
    }
    //check if enough points are in detected rectangle
    if(this->enough_bounded_points(pt,faces[0],frac)){
      Point2f center = this->center_of_mass(pt); float w = faces[0].width;
      xoffset.push_back((center.x - (faces[0].x+0.5*faces[0].width ))/w);
      yoffset.push_back((center.y - (faces[0].y+0.5*faces[0].height))/w);
      zoffset.push_back(this->calc_scale(pt)/w);
    }
      }
    }
  }
  //choose median value
  // 對 X、Y、Z集合分別按升序排序，取各自的中值
  Mat X = Mat(xoffset),Xsort,Y = Mat(yoffset),Ysort,Z = Mat(zoffset),Zsort;
  cv::sort(X,Xsort,CV_SORT_EVERY_COLUMN|CV_SORT_ASCENDING); int nx = Xsort.rows;
  cv::sort(Y,Ysort,CV_SORT_EVERY_COLUMN|CV_SORT_ASCENDING); int ny = Ysort.rows;
  cv::sort(Z,Zsort,CV_SORT_EVERY_COLUMN|CV_SORT_ASCENDING); int nz = Zsort.rows;
  detector_offset = Vec3f(Xsort.fl(nx/2),Ysort.fl(ny/2),Zsort.fl(nz/2)); return;
}

 

　　　

　　在文件 train_face_detector.cpp 中有一個簡單的示例程序，該程序展示如何得到 face_detector 對象並保存這些對象以便用於后面的跟蹤系統。主要代碼如下：

//load data
ft_data data = load_ft<ft_data>(argv[2]);
shape_model smodel = load_ft<shape_model>(argv[3]);
smodel.set_identity_params();
vector<Point2f> r = smodel.calc_shape();
Mat ref = Mat(r).reshape(1,2*r.size());

//train face detector
face_detector detector; 
detector.train(data,argv[1],ref,mirror,true,frac);

//save detector
save_ft<face_detector>(argv[4],detector);

 

 

　　下面是其中兩張樣本圖像以及對應的標注點與人臉位置示意圖：

　　　　     

 

　　下面是保存 face_detector 對象的 detector_model.yaml 文件：

　　　　

 

　　為了檢測形狀放置程序的性能，文件 visualize_face_detector.cpp 中的程序會調用 face_detector::detect 函數來處理視頻文件或攝像機輸入的視頻流，並將結果顯示在屏幕上。主要代碼如下：

//detect until user quits
namedWindow("face detector");
while(cam.get(CV_CAP_PROP_POS_AVI_RATIO) < 0.999999){
Mat im; cam >> im;     
vector<Point2f> p = detector.detect(im);
if(p.size() > 0){
    for(int i = 0; i < int(p.size()); i++)
circle(im,p[i],1,CV_RGB(0,255,0),2,CV_AA);
}
imshow("face detector",im);
if(waitKey(10) == 'q')break;
}

　　運行效果圖如下：