https://www.zhihu.com/question/23371175
3 個回答
題主應該是如果只是想知道SIFT是怎么在兩幅圖像間進行匹配的話，下面是我總結的四種匹配方法，希望對題主了解SIFT匹配過程有幫助。
一般在詞袋模型中，為了提高檢索的精度，你可以通過很多的trick來提高其精度(mAP)，其中一個廣泛使用的技巧就是對返回的圖像進行重排，重排有很多種方法，比如對多特征在分數層(決策層)進行融合也是一種重排方式，不過這里要做的是通過剔除查詢圖像與候選圖像錯配點對的方式進行重排，剔除錯配點一般采用的是RANSAC算法，關於RANSAC原理可以閱讀RANSAC算法做直線擬合這篇文章，或者采用類RANSAC算法。作為初級階段的實踐，這里從兩幅圖像的匹配逐步深入。
代碼下載：下面貼圖的結果的代碼都可以sift(asift)-match-with-ransac-cpp下載。
1NN匹配
“1NN匹配”（勿wiki，自創的一個詞匯），講起來比較順口，而且從字面也應該可以猜測出點意思來，所以就這么寫在這里了。所謂的“1NN”匹配，即是對於圖像im1中的某個SIFT特征點point1，通過在im2圖像上所有SIFT關鍵點查找到與point1最近的SIFT關鍵點，重復這個過程，即可得到圖像im1中所有的特征點在im2中的匹配點(最近鄰，1NN)。這種匹配方法，會出現很多的錯配點，下面是采用1NN匹配的結果：
從上圖可以看到，1NN匹配的方法出現了很多的錯配點，而這些錯配點對無論是對圖像檢索中的重排，還是圖像拼接等，都是不希望看到的，所以得進一步對其中的錯配點對進行剔除，下面采用“1NN/2NN<0.8”的方法進行錯配點對剔除。
1NN/2NN<0.8
"1NN/2NN<0.8"，不要詫異你未見過這樣一種說法，沒錯，自己瞎創的一種表述。對上面1NN方法理解了，這個水到渠成。所謂“1NN/2NN<0.8”，即對於圖像im1中的某個SIFT特征點point1，通過在im2圖像上所有SIFT關鍵點查找到與point1最近的SIFT關鍵點point21(記該關鍵點point21到point1的距離為dis1)和次近的關鍵點point22(記該關鍵點point22到point1的距離為dis2)，如果dis1/dis2<0.8，則我們將其視為正確匹配的點對，否則則為錯配的點對予以剔除。這種尋找匹配的方法，由Lowe在其Distinctive image features from scale-invariant keypoints中有說明，當然，0.8這個閾值是可以調整的，不過一般都采用0.8。下面是采用該方法進行匹配后的結果：
可以看到，經過該方法匹配后，相比與“1NN”匹配方法，相比於“1NN”，這種方法進行匹配時有了很大的改善，不過正配點相比與1NN有部分損失。下面再探討用RANSAC方法對這兩種情況進行錯配點剔除。
1NN+RANSAC
回到前面的“1NN”匹配的點對，我們再采用RANSAC方法對其進行錯配點剔除，RANSAC方法的原理前面已有相關文章RANSAC算法做直線擬合，這里不再重復，相關的代碼請看utils.cpp中findInliers函數，調用的是OpenCV中的cv::findFundamentalMat函數計算其變換矩陣，下面是“1NN”經過RANSAC剔除錯配點對的結果：
可以看到，經過RANSAC后，“1NN”中的很多錯配點對差不多剔除得比較好了，不過還有錯配的點對沒有剔除掉，圖中用紅色矩形框標出了未剔除的錯配點對。我們在來看看對“1NN/2NN<0.8”進行RANSAC后會是怎樣的結果呢？
1NN/2NN<0.8+RANSAC在看匹配結果前，我們可以先做一個大概的預測，因為“1NN/2NN<0.8”得到的很多點就是正確匹配的點對，所以將其放入RANSAC中后，能夠得到很好的擬合模型，所以其剔除錯配點對效果也應該更好。為了驗證這一預測，我們看一下“1NN/2NN<0.8+RANSAC”具體的效果，如下圖所示：
可以看到，已經完全沒有錯配點了，從這一點來說，其效果是非常好的。不過，從正配點對數目來看，“1NN+RANSAC”的結果更密集，也就是說“1NN+RANSAC”包含了更多的正配點對，“1NN/2NN<0.8+RANSAC”正配點對要稍微少些。在大多數情況下，我們會選擇完全剔除了錯配點對的模型。
上面分別介紹了兩種匹配方法，分別是“1NN”和“1NN/2NN<0.8”匹配方法，以及對它們采用RANSAC剔除錯配點對的方法。有時候，如果要求經過RANSAC匹配后保留更多的正配點對，這時候，我們可以采用Affine-SIFT，簡稱ASIFT，具體可以閱讀ASIFT: An Algorithm for Fully Affine Invariant Comparison這篇文章，作者提供了ASIFT的C++代碼和匹配算法，可以在ASIFT下載得到，我大概跑了一下里面的demo，相比與SIFT，ASIFT可以提取到很多的關鍵點，對旋轉等變換具有更好的不變性，不過缺點也很明顯，速度實在太慢，很難做到實時，所以要使用的話，一般應用在對實時性不做要求的場合。我那個代碼里有OpenCV的實現，你也可以試一下其效果，該OpenCV代碼實現來源於OPENCV ASIFT C++ IMPLEMENTATION，OpenCV自帶其Python實現，使用比較方便，就是速度太慢，所以自己在圖像檢索在寫的項目中，也不打算用它了。
--------------------------------------------------------------------------------------------------------------------------------------------
更新一下：
這兩天自己用c++重新寫的一個剔除錯配點的方法，效果很不錯：
先到這里，還有很多坑要填。
SIFT特征屬於圖像局部不變性特征，這類特征比較常用來進行圖像配准，注意不是圖像匹配，它關心的是圖像上像素及像素領域的屬性，往往是同一物體在不同位置和不同時刻形成的兩幅圖像的配准。
圖像匹配一般使用全局特征，如顏色直方圖，感知哈希編碼等特征。
