EasyPR源碼剖析（9）：字符識別

在上一篇文章的介紹中，我們已經通過相應的字符分割方法，將車牌區域進行分割，得到7個分割字符圖塊，接下來要做的就是將字符圖塊放入訓練好的神經網絡模型，通過模型來預測每個圖塊所表示的具體字符。神經網絡的介紹和訓練過程我們將在下一節中具體介紹，本節主要介紹字符特征的提取，和如何通過訓練好的神經網絡模型來進行字符的識別。

字符識別主要是通過 類CharsIdentify 來進行，對於中文字符和非中文字符，分別采取了不同的策略，訓練得到的ANN模型也不一樣，中文字符的識別主要使用 identifyChinese 來處理，非中文字符的識別主要采用 identify 來處理。另外，類CharsIdentify采用了單例模式，具體的初始化代碼和構造函數如下：

  CharsIdentify* CharsIdentify::instance_ = nullptr;

  CharsIdentify* CharsIdentify::instance() {
    if (!instance_) {
      instance_ = new CharsIdentify;
    }
    return instance_;
  }

  CharsIdentify::CharsIdentify() {
    ann_ = ml::ANN_MLP::load<ml::ANN_MLP>(kDefaultAnnPath);
    annChinese_ = ml::ANN_MLP::load<ml::ANN_MLP>(kChineseAnnPath);
    kv_ = std::shared_ptr<Kv>(new Kv);
    kv_->load("etc/province_mapping");
  }

  void CharsIdentify::LoadModel(std::string path) {
    if (path != std::string(kDefaultAnnPath)) {

      if (!ann_->empty())
        ann_->clear();

      ann_ = ml::ANN_MLP::load<ml::ANN_MLP>(path);
    }
  }

  void CharsIdentify::LoadChineseModel(std::string path) {
    if (path != std::string(kChineseAnnPath)) {

      if (!annChinese_->empty())
        annChinese_->clear();

      annChinese_ = ml::ANN_MLP::load<ml::ANN_MLP>(path);
    }
  }

這邊單例模式只考慮了單線程情況，對於多線程的話，需要加入雙重鎖定。此處處理中文字符和非中文字符，分別加載了不同的ANN模型文件，ANN模型通過opencv 中機器學習中自帶的神經網絡模型 ml::ANN_MLP 來實現。

字符特征獲取

通過神經網絡對字符圖塊進行判別，首先需要獲取字符圖塊的特征，字符特征的獲取，主要通過 charFeatures 函數來實現。具體的函數代碼如下所示：

Mat charFeatures(Mat in, int sizeData) {
  const int VERTICAL = 0;
  const int HORIZONTAL = 1;

  // cut the cetner, will afect 5% perices.
  Rect _rect = GetCenterRect(in);
  Mat tmpIn = CutTheRect(in, _rect);
  //Mat tmpIn = in.clone();

  // Low data feature
  Mat lowData;
  resize(tmpIn, lowData, Size(sizeData, sizeData));

  // Histogram features
  Mat vhist = ProjectedHistogram(lowData, VERTICAL);
  Mat hhist = ProjectedHistogram(lowData, HORIZONTAL);

  // Last 10 is the number of moments components
  int numCols = vhist.cols + hhist.cols + lowData.cols * lowData.cols;

  Mat out = Mat::zeros(1, numCols, CV_32F);
  // Asign values to

  int j = 0;
  for (int i = 0; i < vhist.cols; i++) {
    out.at<float>(j) = vhist.at<float>(i);
    j++;
  }
  for (int i = 0; i < hhist.cols; i++) {
    out.at<float>(j) = hhist.at<float>(i);
    j++;
  }
  for (int x = 0; x < lowData.cols; x++) {
    for (int y = 0; y < lowData.rows; y++) {
      out.at<float>(j) += (float)lowData.at <unsigned char>(x, y);
      j++;
    }
  }

  //std::cout << out << std::endl;

  return out;
}

對於中文字符和英文字符，默認的圖塊大小是不一樣的，中文字符默認是 20*20，非中文默認是10*10。

• GetCenterRect 函數主要用於獲取字符的邊框，分別查找從四個角落查找字符的位置；
• CutTheRect 函數裁剪原圖，即將字符移動到圖像的中間位置，通過這一步的操作，可將字符識別的准確率提高5%左右；
• ProjectedHistogram 函數用於獲取歸一化序列，歸一化到0-1區間范圍內；

GetCenterRect 函數具體代碼如下：

Rect GetCenterRect(Mat &in) {
  Rect _rect;

  int top = 0;
  int bottom = in.rows - 1;

  // find the center rect

  for (int i = 0; i < in.rows; ++i) {
    bool bFind = false;
    for (int j = 0; j < in.cols; ++j) {
      if (in.data[i * in.step[0] + j] > 20) {
        top = i;
        bFind = true;
        break;
      }
    }
    if (bFind) {
      break;
    }

  }
  for (int i = in.rows - 1;
  i >= 0;
  --i) {
    bool bFind = false;
    for (int j = 0; j < in.cols; ++j) {
      if (in.data[i * in.step[0] + j] > 20) {
        bottom = i;
        bFind = true;
        break;
      }
    }
    if (bFind) {
      break;
    }

  }


  int left = 0;
  int right = in.cols - 1;
  for (int j = 0; j < in.cols; ++j) {
    bool bFind = false;
    for (int i = 0; i < in.rows; ++i) {
      if (in.data[i * in.step[0] + j] > 20) {
        left = j;
        bFind = true;
        break;
      }
    }
    if (bFind) {
      break;
    }

  }
  for (int j = in.cols - 1;
  j >= 0;
  --j) {
    bool bFind = false;
    for (int i = 0; i < in.rows; ++i) {
      if (in.data[i * in.step[0] + j] > 20) {
        right = j;
        bFind = true;

        break;
      }
    }
    if (bFind) {
      break;
    }
  }

  _rect.x = left;
  _rect.y = top;
  _rect.width = right - left + 1;
  _rect.height = bottom - top + 1;

  return _rect;
}

CutTheRect 函數具體代碼如下：

Mat CutTheRect(Mat &in, Rect &rect) {
  int size = in.cols;  // (rect.width>rect.height)?rect.width:rect.height;
  Mat dstMat(size, size, CV_8UC1);
  dstMat.setTo(Scalar(0, 0, 0));

  int x = (int) floor((float) (size - rect.width) / 2.0f);
  int y = (int) floor((float) (size - rect.height) / 2.0f);

  for (int i = 0; i < rect.height; ++i) {

    for (int j = 0; j < rect.width; ++j) {
      dstMat.data[dstMat.step[0] * (i + y) + j + x] =
          in.data[in.step[0] * (i + rect.y) + j + rect.x];
    }
  }

  //
  return dstMat;
}

ProjectedHistogram 函數代碼如下：

float countOfBigValue(Mat &mat, int iValue) {
  float iCount = 0.0;
  if (mat.rows > 1) {
    for (int i = 0; i < mat.rows; ++i) {
      if (mat.data[i * mat.step[0]] > iValue) {
        iCount += 1.0;
      }
    }
    return iCount;

  } else {
    for (int i = 0; i < mat.cols; ++i) {
      if (mat.data[i] > iValue) {
        iCount += 1.0;
      }
    }

    return iCount;
  }
}

Mat ProjectedHistogram(Mat img, int t) {
  int sz = (t) ? img.rows : img.cols;
  Mat mhist = Mat::zeros(1, sz, CV_32F);

  for (int j = 0; j < sz; j++) {
    Mat data = (t) ? img.row(j) : img.col(j);

    mhist.at<float>(j) = countOfBigValue(data, 20);
  }

  // Normalize histogram
  double min, max;
  minMaxLoc(mhist, &min, &max);

  if (max > 0)
    mhist.convertTo(mhist, -1, 1.0f / max, 0);   //歸一化 0-1

  return mhist;
}

 通過上述代碼可知，非中文字符和中文字符獲得的字符特征個數是不同的，非中文字符features個數為 10+10+10*10=120，中文字符features個數為  20+20+20*20=440。

字符識別

通過上述函數獲取字符特征之后，可以通過神經網絡模型對車牌字符進行識別，具體的識別函數如下所示：

  int CharsIdentify::classify(cv::Mat f, float& maxVal, bool isChinses){
    int result = -1;

    cv::Mat output(1, kCharsTotalNumber, CV_32FC1);
    ann_->predict(f, output);

    maxVal = -2.f;
    if (!isChinses) {
      result = 0;
      for (int j = 0; j < kCharactersNumber; j++) {
        float val = output.at<float>(j);
        // std::cout << "j:" << j << "val:" << val << std::endl;
        if (val > maxVal) {
          maxVal = val;
          result = j;
        }
      }
    }
    else {
      result = kCharactersNumber;
      for (int j = kCharactersNumber; j < kCharsTotalNumber; j++) {
        float val = output.at<float>(j);
        //std::cout << "j:" << j << "val:" << val << std::endl;
        if (val > maxVal) {
          maxVal = val;
          result = j;
        }
      }
    }
    //std::cout << "maxVal:" << maxVal << std::endl;
    return result;
  }

ann_為之前加載得到的神經網路模型，直接調用其 predict() 函數，即可得到輸出矩陣 output，輸出矩陣中最大的值即為識別的車牌字符，其中，數值分別為0-64的65個數字，對應的值如下所示：

static const char *kChars[] = {
  "0", "1", "2",
  "3", "4", "5",
  "6", "7", "8",
  "9",
  /*  10  */
  "A", "B", "C",
  "D", "E", "F",
  "G", "H", /* {"I", "I"} */
  "J", "K", "L",
  "M", "N", /* {"O", "O"} */
  "P", "Q", "R",
  "S", "T", "U",
  "V", "W", "X",
  "Y", "Z",
  /*  24  */
  "zh_cuan" , "zh_e"    , "zh_gan"  ,
  "zh_gan1" , "zh_gui"  , "zh_gui1" ,
  "zh_hei"  , "zh_hu"   , "zh_ji"   ,
  "zh_jin"  , "zh_jing" , "zh_jl"   ,
  "zh_liao" , "zh_lu"   , "zh_meng" ,
  "zh_min"  , "zh_ning" , "zh_qing" ,
  "zh_qiong", "zh_shan" , "zh_su"   ,
  "zh_sx"   , "zh_wan"  , "zh_xiang",
  "zh_xin"  , "zh_yu"   , "zh_yu1"  ,
  "zh_yue"  , "zh_yun"  , "zh_zang" ,
  "zh_zhe"
  /*  31  */
};

其中26個英文字母中，因為I 和 O容易和數字的 1和0 混淆，因此被去除了，后面31個中文字符分別對應中國的31個行政區域（港澳台暫不考慮）。將識別的各個字符整體輸出，就得到了最終的結果。