QATM: Quality-Aware Template Matching For Deep Learning
2020-04-27 11:50:16
Paper: https://arxiv.org/pdf/1903.07254.pdf
Code: https://github.com/kamata1729/QATM_pytorch
1. Background and Motivation:
現有的模板匹配方法存在的問題是：當計算相似性的時候，template 和 candidate windows 內部的所有像素點都會被計算進去。但是這種計算方式，在很多情況下是不合適的，例如：when the background behind the object of interest changes between the template and the target image. 為了克服這個困難，BBS 的方法依賴於最近鄰匹配來解決這個問題，所以其可以排除大部分的背景像素點以進行匹配。基於 BBS，又有 DDIS 的方法利用額外的形變信息，來改善匹配的性能。跟前人的工作不同，作者這里考慮到了 5 種不同的模板匹配場景，如表格 1 所示。
S 中的 最優的匹配區域 可以通過最大化總體匹配得分來找到。所以，作者提出優化如下得質量評估函數：
這樣的話，S 中的區域 R 可以最大化匹配得分，就可以優化匹配區域了。R 是一個固定大小的候選窗口。
2. The Proposed Method：
為了使得 公式 1 的模型適合 模板匹配，我們需要定義 Quality(s, t)，即：如何評估匹配 s 和 t 的質量。
假設 fs 和 ft 是 patch s 和 t 的特征表示。ρ 是兩者之間相似度的度量方法，即: cosine similarity。給定一個搜索圖像塊 s，我們定義一個似然函數：
其中，alpha 是正的數。該似然函數可以看做是根據匹配質量，將當前 patch t 和所有 template image 之間的 patches 進行對比的 soft-ranking。也可以看做是一種 heated-up softmax embedding，其中 softmax activation layer 帶有一個可學習的溫度參數。
按照這種方式，我們可以定義 QATM measure 為：
任何合理的相似性度量 ρ 都可以用。一旦得到了 pairwise QATM results，一個 ROI s 的匹配得分就可以按照公式 4 進行計算：
其中 q(*) 表示匹配質量函數。最終，我們可以找到一個最優的匹配區域 R*，可以最大化總的匹配質量：
