1、立體匹配算法主要可分為兩大類:基於局部約束和基於全局約束的立體匹配算法.
(一)基於全局約束的立體匹配算法:在本質上屬於優化算法,它是將立體匹配問題轉化為尋找全局能量函數的最優化問題,其代表算法主要有圖割算法、置信度傳播算法和協同優化算法等.全局算法能夠獲得較低的總誤匹配率,但算法復雜度較高,很難滿足實時的需求,不利於在實際工程中使用.
(二)基於局部約束的立體匹配算法:主要是利用匹配點周圍的局部信息進行計算,由於其涉及到的信息量較少,匹配時間較短,因此受到了廣泛關注,其代表算法主要有 SAD、SSD、NCC等。
2、本文采用局部約束的立體匹配算法
(1)Census 變換
Census 變換在實際場景中,造成亮度差異的原因有很多,如由於左右攝像機不同的視角接受到的光強不一致,攝像機增益、電平可能存在差異,以及圖像采集不同通道的噪聲不同等,cencus方法保留了窗口中像素的位置特征,並且對亮度偏差較為魯棒,簡單講就是能夠減少光照差異引起的誤匹配。
實現原理:在視圖中選取任一點,以該點為中心划出一個例如3 × 3 的矩形,矩形中除中心點之外的每一點都與中心點進行比較,灰度值小於中心點即記為1,灰度大於中心點的則記為0,以所得長度為 8 的只有 0 和 1 的序列作為該中心點的 census 序列,即中心像素的灰度值被census 序列替換。經過census變換后的圖像使用漢明距離計算相似度,所謂圖像匹配就是在視差圖中找出與參考像素點相似度最高的點,而漢明距正是視差圖像素與參考像素相似度的度量。具體而言,對於欲求取視差的左右視圖,要比較兩個視圖中兩點的相似度,可將此兩點的census值逐位進行異或運算,然后計算結果為1 的個數,記為此兩點之間的漢明值,漢明值是兩點間相似度的一種體現,漢明值愈小,兩點相似度愈大實現算法時先異或再統計1的個數即可,漢明距越小即相似度越高。(盡管census變換提高了匹配魯棒性,但其包含的圖像信息有限,原始灰度信息己經完全被拋棄了,因此不能將變換結果用於單像素或較小窗口的匹配,仍需要使用與其他區域匹配方法中類似的匹配窗口)變換過程如圖 1 所示。
127 126 130 1 1 0
126 128 129 ---> 1 * 0 ---> cencus序列 {11010101}
127 131 111 1 0 1
---> 異或 {01110010} --->漢明距為4
110 126 101 1 0 1
146 120 127 ---> 0 * 0 ---> cencus序列 {10100111}
112 101 111 1 1 1
圖 1
用FPGA實現時,思路就是先用RAM或者shift register 實現矩陣,然后捕捉相關點進行比較、異或等操作
//后面再繼續記錄學習部分