Efficient Large-Scale Stereo Matching 解析
@(sinbad)[360sinbad@gmail.com]
這是一篇2010年ACCV的立體匹配方面的論文,該文提出的算法主要用於在雙目立體視覺中進行快速高清晰度圖像匹配。算法基本思想為:通過計算一些支持點組成稀疏視差圖,對這些支持點在圖像坐標空間進行三角剖分,構建視差的先驗值。由於支持點可被精確匹配,避免了使用其余點進行匹配造成的匹配模糊。進而可以通過有效利用視差搜索空間,重建精確的稠密視差圖,而不必進行全局優化。算法分為以下幾個部分:
1.匹配支持點
-首先確定支持點匹配的特征描述算子,文中采用簡單的9X9尺寸的sobel濾波並連結周圍像素窗口的sobel值組成特征。
特征算子維度為1+11+5=17,作者有提到使用更復雜的surf特征對提高匹配的精度並無益處,反而使得速度更慢。
匹配方法為L1向量距離,並進行從左到右及從右到左兩次匹配。為防止多個匹配點歧義,剔除最大匹配點與次匹配點匹配得分比超過一定閥值的點。另外則是增加圖像角點作為支持點,角點視差取其最近鄰點的值。
2.立體匹配生成模型
這里所謂的生成模型,簡單來講就是基於上面確定的支持點集,也可以擴展一些角點,再對這些支持點集進行三角剖分,形成多個三角形區域。在每個三角形內基於三個已知頂點的 精確 視差值進行MAP最大后驗估計插值該三角區域內的其他點視差。假設觀察組和支持點
的視差
是條件獨立的,其聯合分布為:
其中利用支持點構建的作為先驗值。
作為圖像似然,目標為求解
取值概率最高的似然估計問題。
對於先驗值的構建作者將其假設為一種高斯分布
(1)
其中,表示為分段線性函數,由之前支持點三角剖分后的平面與支持點的視差值插值得到。
已知三角形三個支持點的坐標與視差值,求解上述方程可以使用高斯消元法。
似然函數表示為Laplace分布。
(2)
分別為左右圖特征向量,特征依然選用sobel濾波采樣組成2X5X5=50維的特征向量。
3.視差估計
視差估計依賴最大后驗估計(MAP)來計算其余觀察點的視差值。
由(1)(2)式取-log可得
(3)
對於公式(3)我看程序時發現作者用的公式是
,其中作為條件來判斷是否對周圍一定范圍內像素進行能量值最小化計算,最后選取能量最小時的 d值作為該點視差值。
4.提純
后面主要是對E(d)進行條件約束,如 等約束處理。
-- 實驗中間結果:
較正圖對:
ELAS 視差圖
濾波平滑后