本文轉自https://www.sohu.com/a/301546212_823210
背景概述
OpenCV中自帶的模板匹配算法，完全是像素基本的模板匹配，特別容易受到光照影響，光照稍微有所不同，該方法就會歇菜了！搞得很多OpenCV初學者剛學習到該方法時候很開心，一用該方法馬上很傷心，悲喜交加，充分感受到了理想與現實的距離，不過沒關系，這里介紹一種新的模板匹配算法，主要是基於圖像邊緣梯度，它對圖像光照與像素遷移都有很強的抗干擾能力，據說Halcon的模板匹配就是基於此的加速版本，在工業應用場景中已經得到廣泛使用。
算法原理
該算法主要是基於圖像梯度，實現基於梯度級別的NCC模板匹配，基於Sobel梯度算子得到dx, dy, magnitude
通過Canny算法得到邊緣圖像、基於輪廓發現得到所有的輪廓點集，基於每個點計算該點的dx、dy、magnitude(dxy)三個值。生成模板信息。然后對輸入的圖像進行Sobel梯度圖像之后，根據模型信息進行匹配，這樣的好處有兩個：
- 梯度對光照有很強的抗干擾能力，對模板匹配的抗光照干擾
- 基於梯度匹配，可以對目標圖像上出現的微小像素遷移進行抵消。
算法實現代碼詳解
梯度圖像計算
Mat gx, gy;
Sobel(gray, gx, CV_32F, 1, 0);
Sobel(gray, gy, CV_32F, 0, 1);
Mat magnitude, direction;
cartToPolar(gx, gy, magnitude, direction);
long contoursLength = 0;
double magnitudeTemp = 0;
int originx = contours[ 0][ 0].x;
int originy = contours[ 0][ 0].y;
模板生成
// 提取dxdymaglog信息
vector<vector<ptin>> contoursInfo;
// 提取相對坐標位置
vector<vector<Point>> contoursRelative;
// 開始提取
for(int i = 0; i < contours.size(); i++) {
int n = contours[i].size();
contoursLength += n;
contoursInfo.push_back(vector<ptin>(n));
vector<Point> points(n);
for(int j = 0; j < n; j++) {
int x = contours[i][j].x;
int y = contours[i][j].y;
points[j].x = x - originx;
points[j].y = y - originy;
ptin pointInfo;
pointInfo.DerivativeX = gx.at<float>(y, x);
pointInfo.DerivativeY = gy.at<float>(y, x);
magnitudeTemp = magnitude.at<float>(y, x);
pointInfo.Magnitude = magnitudeTemp;
if(magnitudeTemp != 0)
pointInfo.MagnitudeN = 1/ magnitudeTemp;
contoursInfo[i][j] = pointInfo;
}
contoursRelative.push_back(points);
}
計算目標圖像梯度
// 計算目標圖像梯度
Mat grayImage;
cvtColor(src, grayImage, COLOR_BGR2GRAY);
Mat gradx, grady;
Sobel(grayImage, gradx, CV_32F, 1, 0);
Sobel(grayImage, grady, CV_32F, 0, 1);
Mat mag, angle;
cartToPolar(gradx, grady, mag, angle);
NCC模板匹配
double partialScore = 0;
double resultScore = 0;
int resultX = 0;
int resultY = 0;
double start = (double)getTickCount();
for(int row = 0; row < grayImage.rows; row++) {
for(int col = 0; col < grayImage.cols; col++) {
double sum = 0;
long num = 0;
for(int m = 0; m < contoursRelative.size(); m++) {
for(int n = 0; n < contoursRelative[m].size(); n++) {
num += 1;
int curX = col + contoursRelative[m][n].x;
int curY = row + contoursRelative[m][n].y;
if(curX < 0|| curY < 0|| curX > grayImage.cols - 1|| curY > grayImage.rows - 1) {
continue;
}
// 目標邊緣梯度
double sdx = gradx.at<float>(curY, curX);
double sdy = grady.at<float>(curY, curX);
// 模板邊緣梯度
double tdx = contoursInfo[m][n].DerivativeX;
double tdy = contoursInfo[m][n].DerivativeY;
// 計算匹配
if((sdy != 0|| sdx != 0) && (tdx != 0|| tdy != 0))
{
double nMagnitude = mag.at<float>(curY, curX);
if(nMagnitude != 0)
sum += (sdx * tdx + sdy * tdy) * contoursInfo[m][n].MagnitudeN / nMagnitude;
}
// 任意節點score之和必須大於最小閾值
partialScore = sum / num;
if(partialScore < min((minScore - 1) + (nGreediness * num), nMinScore * num))
break;
}
}
// 保存匹配起始點
if(partialScore > resultScore)
{
resultScore = partialScore;
resultX = col;
resultY = row;
}
}
}
運行效果
正常光照
光照非常暗
改進：
不需要全局匹配，可以對目標圖像先做一個小梯度閾值，然后再進行匹配，提升速度、構造目標圖像金字塔，實現多分辨率模板匹配支持！