OpenCV-Python：模板匹配

啥叫模板匹配

模板匹配就是在大圖中找小圖，也就說在一幅圖像中尋找另一幅模板圖像的位置：

OpenCV使用 cv2.matchTemplate() 實現模板匹配。

import cv2
import numpy as np
from matplotlib import pyplot as plt

img = cv2.imread('lena.jpg', 0)
template = cv2.imread('face.jpg', 0)
h, w = template.shape[:2]    # rows->h, cols->w

匹配函數返回的是一幅灰度圖，最白的地方表示最大的匹配。使用 cv2.minMaxLoc() 函數可以得到最大匹配值的坐標，以這個點為左上角角點，模板的寬和高畫矩形就是匹配的位置了：

# 相關系數匹配方法: cv2.TM_CCOEFF
res = cv2.matchTemplate(img, template, cv2.TM_CCOEFF)
min_val, max_val, min_loc, max_loc = cv2.minMaxLoc(res)

left_top = max_loc   # 左上角
right_bottom = (left_top[0] + w, left_top[1] + h)   # 右下角
cv2.rectangle(img, left_top, right_bottom, 255, 2)  # 畫出矩形位置

plt.subplot(121), plt.imshow(res, cmap='gray')
plt.title('Matching Result'), plt.xticks([]), plt.yticks([])

plt.subplot(122), plt.imshow(img, cmap='gray')
plt.title('Detected Point'), plt.xticks([]), plt.yticks([])
plt.show()

模板匹配的原理 

模板匹配的原理其實很簡單，就是不斷地在原圖中移動模板圖像去比較，有6種不同的比較方法，詳細請參考：TemplateMatchModes

• 平方差匹配 CV_TM_SQDIFF：用兩者的平方差來匹配
• 歸一化平方差匹配 CV_TM_SQDIFF_NORMED
• 相關匹配 CV_TM_CCORR：用兩者的乘積匹配，數值越大表明匹配程度越好
• 歸一化相關匹配 CV_TM_CCORR_NORMED
• 相關系數匹配 CV_TM_CCOEFF：用兩者的相關系數匹配，1表示完美匹配，-1表示最差匹配
• 歸一化相關系數匹配 CV_TM_CCOEFF_NORMED

歸一化的意思就是將值統一到0~1，這六種方法的對比詳情請見 Template Matching. 模板匹配也是應用卷積來實現的：假設原圖大小為 WxH，模板圖大小為 w×h，那么生成圖大小是（W-w+1）x（H-h+1），生成圖中的每個像素值表示原圖與模板的匹配程度

 

匹配多個物體

前面我們是找最大匹配的點，所以只能匹配一次。我們可以設定一個匹配閾值來匹配多次：

# 1. 讀入原圖和模板
img_rgb = cv2.imread('mario.jpg')
img_gray = cv2.cvtColor(img_rgb, cv2.COLOR_BGR2GRAY)
template = cv2.imread('mario_coin.jpg', 0)
h, w = template.shape[:2]

# 歸一化平方差匹配
res = cv2.matchTemplate(img_gray, template, cv2.TM_CCOEFF_NORMED)
threshold = 0.8

# 這段代碼后面會有解釋
loc = np.where(res >= threshold)  # 匹配程度大於80%的坐標y，x
for pt in zip(*loc[::-1]): # *號表示可選參數
    right_bottom = (pt[0] + w, pt[1] + h)
    cv2.rectangle(img_rgb, pt, right_bottom, (0, 0, 255), 2)
    
cv2.imwrite('res.png', img_rgb)

這里解釋一下第三段的代碼：

1. np.where() 在這里返回res中值大於0.8的所有坐標，如：

x = np.arange(9.).reshape(3, 3)
print(np.where(x > 5))

(array([2, 2, 2], dtype=int64), array([0, 1, 2], dtype=int64))
結果的含義是（先y坐標，在x坐標）

2. zip() 函數

x = [1, 2, 3]
y = [4, 5, 6]
print(list(zip(x, y)))

[(1, 4), (2, 5), (3, 6)]

這樣的解釋的話，第三段代碼就好理解了：因為loc是先y坐標再x坐標，所以用loc[::-1]翻轉一下，然后再用zip函數拼接一下。

 

思考一下：

圖片旋轉或縮放的話，模板匹配還有作用嗎？

答案是沒有作用，因為只有平移的動作，並沒有考慮到其他圖像特征。這也是模板匹配的局限性所在，但可以使用改進的模板匹配算法。

參考百科鏈接：https://baike.baidu.com/item/模板匹配