引言
該文是由EPFL的Calonder在ECCV2010上提出了一種可以快速計算且表達方式為二進制編碼的描述子。主要思路就是在特征點附近隨機選取若干點對,將這些點對的灰度值的大小,組合成一個二進制串,並將這個二進制串作為該特征點的特征描述子。
算法描述
首先,該文特征點提取算法與SIFT一致,也可以仿照SURF算法。在此,主方向的計算在此省略(更為詳見,參考資料[1]),因該描述子針對的是兩幅小角度偏轉(30°以內)圖像的特征點匹配。
其次,描述子的建立過程:
- 選定建立描述子的區域(特征點的一個正方形鄰域)。
- 對該鄰域用σ=2的高斯核卷積,以消除一些噪聲。因為該描述子隨機性強,對噪聲較為敏感。
- 以一定的隨機化算法生成點對<x,y>,若點x的亮度小於點y的亮度,則返回值1,否則返回0。
- 重復第三步若干次(如256次),得到一個256位的二進制編碼,即該特征點的描述子。
最后,在匹配時只需計算兩特征點描述子的Hamming距離。判斷是否匹配的依據:經過大量實驗數據測試,不匹配特征點的描述子的Hamming距離在128左右,匹配點對描述子的Hamming距離則遠小於128。
算法優缺點與結果比較
BRIEF算法優缺點,首先,它拋棄了傳統的用梯度直方圖描述區域的方法,改用檢測隨機響應,大大加快了描述子建立速度;生成的二進制描述子便於高速匹配(計算Hamming距離只需通過異或操作加上統計二進制編碼中“1”的個數的操作,這些通過底層的運算即可實現),且便於在硬件上實現。其次、本描述子的缺點很明顯就是旋轉不變性較差,需要通過新的方法來改進。
結果比較:第一、在旋轉不是非常厲害的圖像里,用BRIEF生成的描述子的匹配質量非常高,作者測試的大多數情況中都超越了SURF。但在旋轉大於30°后,BRIEF的匹配率快速降到0左右;第二、BRIEF的耗時非常短,在相同情形下計算512個特征點的描述子時,SURF耗時335ms,BRIEF僅8.18ms;匹配SURF描述子需28.3ms,BRIEF僅需2.19ms。在要求不太高的情形下,BRIEF描述子更容易做到實時。
BRIEF的主要思想是在特征點的附近隨機選取若干個點對,這些點對的灰度值組成一個二進制串,並將這個二進制串作為該特征的特征描述子
BRIEF的有點在於速度,缺點也很明顯
1:不具備旋轉不變性
2:對噪聲敏感
3:不具備尺度不變性
代碼:http://cvlab.epfl.ch/research/detect/brief/
算法評估:http://computer-vision-talks.com/articles/2011-08-19-feature-descriptor-comparison-report/
綜合考慮速度和性能,ORB是最好的,ORB的出現就是為了解決BRIEF的前面兩個缺點
參考資料
[1]Calonder M., Lepetit V., Strecha C., Fua P.:BRIEF: Binary Robust Independent Elementary Features. ECCV 2010
參考博客:http://blog.csdn.net/songzitea/article/details/18272559
關於其他圖像特征點描述子:
局部圖像特征描述是計算機視覺的一個基本研究問題,在尋找圖像中的對應點以及物體特征描述中有着重要的作用。它是許多方法的基礎,因此也是目前視覺研究中的一個熱點,每年在視覺領域的頂級會議ICCV/CVPR/ECCV上都有高質量的特征描述論文發表。同時它也有着廣泛的應用,舉例來說,在利用多幅二維圖像進行三維重建、恢復場景三維結構的應用中,其基本出發點是要有一個可靠的圖像對應點集合,而自動地建立圖像之間點與點之間的可靠對應關系通常都依賴於一個優秀的局部圖像特征描述子。又比如,在物體識別中,目前非常流行以及切實可行的方法之一是基於局部特征的,由於特征的局部性,使得物體識別可以處理遮擋、復雜背景等比較復雜的情況。
局部圖像特征描述的核心問題是不變性(魯棒性)和可區分性。由於使用局部圖像特征描述子的時候,通常是為了魯棒地處理各種圖像變換的情況。因此,在構建/設計特征描述子的時候,不變性問題就是首先需要考慮的問題。在寬基線匹配中,需要考慮特征描述子對於視角變化的不變性、對尺度變化的不變性、對旋轉變化的不變性等;在形狀識別和物體檢索中,需要考慮特征描述子對形狀的不變性。
然而,特征描述子的可區分性的強弱往往和其不變性是矛盾的,也就是說,一個具有眾多不變性的特征描述子,它區分局部圖像內容的能力就稍弱;而如果一個非常容易區分不同局部圖像內容的特征描述子,它的魯棒性往往比較低。舉個例子,假定我們需要對一個點周圍固定大小的局部圖像內容進行描述。如果我們直接將圖像內容展開成一個列向量對其進行描述,那么只要局部圖像內容發生了一點變化,就會使得它的特征描述子發生較大的變化,因此這樣的特征描述方式很容易區分不同的局部圖像內容,但是對於相同的局部圖像內容發生旋轉變化等情況,它同樣會產生很大的差異,即不變性弱。
而另一方面,如果我們通過統計局部圖像灰度直方圖來進行特征描述,這種描述方式具有較強的不變性,對於局部圖像內容發生旋轉變化等情況比較魯棒,但是區分能力較弱,例如無法區分兩個灰度直方圖相同但內容不同的局部圖像塊。
綜上所述,一個優秀的特征描述子不僅應該具有很強不變性,還應該具有很強的可區分性。
在諸多的局部圖像特征描述子中,SIFT(Scale Invariant Feature Transform)是其中應用最廣的,它在1999年首次提出,至2004年得到完善。SIFT的提出也是局部圖像特征描述子研究領域一項里程碑式的工作。由於SIFT對尺度、旋轉以及一定視角和光照變化等圖像變化都具有不變性,並且SIFT具有很強的可區分性,自它提出以來,很快在物體識別、寬基線圖像匹配、三維重建、圖像檢索中得到了應用,局部圖像特征描述子在計算機視覺領域內也得到了更加廣泛的關注,涌現了一大批各具特色的局部圖像特征描述子。
SURF(Speeded Up Robust Features)是對SIFT的改進版本,它利用Haar小波來近似SIFT方法中的梯度操作,同時利用積分圖技術進行快速計算,SURF的速度是SIFT的3-7倍,大部分情況下它和SIFT的性能相當,因此它在很多應用中得到了應用,尤其是對運行時間要求高的場合。
DAISY是面向稠密特征提取的可快速計算的局部圖像特征描述子,它本質思想和SIFT是一樣的:分塊統計梯度方向直方圖,不同的是,DAISY在分塊策略上進行了改進,利用高斯卷積來進行梯度方向直方圖的分塊匯聚,這樣利用高斯卷積的可快速計算性就可以快速稠密地進行特征描述子的提取。比較巧合的是,DAISY這種特征匯聚策略被一些研究者(Matthen Brown,Gang Hua,Simon Winder)通過機器學習的方法證明相對於其他幾種特征匯聚策略(卡迪爾坐標下分塊、極坐標下分塊)是最優的。
ASIFT(Affine SIFT)通過模擬所有成像視角下得到的圖像進行特征匹配,可以很好地處理視角變化的情況,尤其是大視角變化下的圖像匹配。
MROGH(Multi-support Region Order-based Gradient Histogram)則是特征匯聚策略上尋求創新,之前的局部圖像特征描述子,其特征匯聚策略都是基於鄰域內點的幾何位置的,而MROGH基於點的灰度序進行特征匯聚。
BRIEF(Binary Robust Independent Element Feature)利用局部圖像鄰域內隨機點對的灰度大小關系來建立局部圖像特征描述子,得到的二值特征描述子不僅匹配速度快,而且存儲要求內存低,因此手機應用中具有很好的應用前景。其實,利用鄰域內點對的灰度大小關系進行特征描述這一思想在SMD(ECCV’08)中就已經有了。
除了BRIEF,近兩年還提出了許多二值特征描述子,例如ORB、BRISK、FREAK。上述這些特征描述子都是基於手動設計得到的,也有一些研究試圖利用機器學習的方法,通過數據驅動得到想要的特征描述子。這類特征描述子包括PCA-SIFT,Linear Discriminative Embedding,LDA-Hash等。當然,除了提到的這些特征描述子之外,還有許多其他的特征描述子,在這就不再一一敘述了。
國際上研究局部圖像特征描述子比較著名的學者有:
英國Surrey大學的Mikolajzyk,他在INRIA做博后的時候,在寬基線應用背景下,對SIFT、Shape Context、PCA-SIFT、不變矩等多種局部圖像描述子的性能進行了評測,相關論文發表在2005年PAMI上,他提出來的評測方法至今仍是局部圖像描述子研究領域中廣泛采用的性能評測方法。
INRIA的C. Schmid,她九十年代就開始研究局部圖像描述方法了,是這個領域內的元老之一,不過這幾年她的團隊正在將重心轉向大規模圖像檢索和行為識別等應用中。
比利時Leuven大學的Tinne Tuytelaars,她是著名的SURF描述子的提出者,SURF相關的論文於2011年獲得CVIU引用最多論文獎,她寫了三篇局部圖像特征描述相關的綜述文章,分別是“Local Invariant Feature Detectors: A Survey”,“Local Image Features”和“Wide baseline matching”。
英國Oxford大學的Andrea Valida,他是Vlfeat的發起者和主要作者。Vlfeat是一個開源程序,其中包括了SIFT、MSER,被許多研究者廣泛采用。Vlfeat目前正在逐漸實現其他常用的特征描述子。
瑞士EPFL的Vincent Lepetit和Pascal Fua,他們的團隊主要致力於發展快速、高效的局部圖像特征描述子,用於模板匹配、三維重建、虛擬現實等應用。他們的工作包括用於稠密立體匹配的DAISY特征描述子,基於Random Trees的模板匹配方法,基於Random Ferns的模板匹配方法。此外,LDA-Hash、BRIEF、D-BRIEF(ECCV 2012)也是他們的傑作。
中國科學院自動化研究所的吳福朝研究員,他在這方面也做了比較深入的研究,並提出了許多不錯的局部圖像特征提取和描述方法。這些名字都是我們在讀論文的時候會經常看到的。
最近幾年局部圖像特征描述子的發展趨勢是:快速、低存儲。這兩個趨勢使得局部圖像特征描述子可以在快速實時、大規模應用中發揮作用,而且有利於將許多應用做到手機上去進行開發,實實在在的將計算機視覺技術應用於我們周圍的世界中。為了滿足快速和低存儲這兩個需求,二值特征描述子得到了研究者的廣泛關注,這兩年CVPR和