Tips
MVS: Multi-View Stereo
Abstract
- 思路：一般的局部立体方法是一个具有整形数值视察（disparity）的支持镜头进行匹配，其中有一个隐藏的假设：再支持区域的像素中具有恒定的视差。这个假设在倾斜的表面是不成立的。
- 每个像素有一个单独的3D平面。
- 除了PatchMatch的空间传播方法外，还有
- 在立体中左右视图传播的图传播。
- 时间传播，从视频的前和连续帧中传播平面。
- 倾斜支持窗口可以用来计算全球立体方法的代价，允许明确的遮挡处理，可以处理大的非纹理区域。
- 重构了高度倾斜的表面，并以亚像素精度实现了视差细节。
Introduction
原来局部立体匹配中，恒定时差不太可能发生的原因有二：
- 支持的窗口包含与中心像素位于不同表面的像素。
- 窗口捕捉到倾斜的表面，不是fronto-parallel。
- [ ] ??? 这篇论文提出了一种基于PatchMatch的算法，有效地解决了在每个像素点找到一个“好的”倾斜支持平面的问题。与其他局部算法相比，算法没有构建完整的cost-volume，这在本论文算法中是不可能的，因为标签空间包含了无限个3D平面。相反，算法巧妙地遍历了其中的一部分。这使得一次优化成为可能，平面以及分配给平面的像素能够联合估计，这有效地绕过了错失正确平面的问题。PatchMatch本身就是一个近似稠密的最近邻算法。这篇论文利用随机搜索和传播的PatchMatch思想来寻找平面极线上的最近邻。这使得能够处理倾斜的表面和亚像素精度。
Algorithm
对于两张图像中的每个像素\(p\), 寻找一个平面\(f_p\)，视差公式：
\[d_p = a_{f_p}p_x+b_{f_p}p_y+c_{f_p} (1) \]
总的优化函数如下：
\[f_p = argmin_{f\in\xi}m(p,f)(2) \]
其中\(\xi\)表示所有可能的平面，它的大小是无限的。
代价公式如下：
\[m(p,f)=\sum_{q\in W_p}w(p,q)\rho(q, q-d_p) \]
其中\(W_p\)表示以像素\(p\)作为中心的方形窗口。但是与现有方法不同，\(W_p\)不再是2D的，而是3D的。权重函数\(w(p,q)\)用来解决边缘育肥问题，并且实施自适应支持权重的思想，它通过像素之间的颜色来计算他们之间的相似性：
\[w(p,q) = e^{-||I_p-I_q||} \]
其中，\(||I_p-I_q||\)计算像素\(p\)和\(q\)在RGB空间的L1距离。
现在来关注\(\rho(q,q')\)部分，首先根据平面\(f\)计算像素\(q\)的视差，并且从\(q\)的x坐标减去这个视差得到在另一张图上的匹配点\(q'\)，函数\(\rho(q,q')\)用来计算像素\(q\)和\(q'\)之间的不相似性：
\[\rho(q,q')=(1-\alpha)min(||I_q-I_{q'}||,\tau_{col})+\alpha min(||-||,\tau_{grad}) \]
2.2 PatchMatch计算视差
随机初始化
给两张图像的一个像素的一个随即平面。
- Somehow，得到一个随机平面的一个点\(P(x_0, y_0, z_0)\)。
- 然后计算平面法向量\(n=(n_x, n_y, n_z)\)
- \(a_f=-n_x/n_z\)
- \(b_f=-n_y/n_z\)
- \(c_f=(n_xx_0 + n_yy_0+n_zz_0)/n_z\)
迭代和传播
四种步骤。(1). spatial propagation, (2). view propagation, (3). temporal propagation, (4). plane refinement。
首先处理左图的所有像素，然后处理右图的所有像素。
- 在奇数次迭代中，从左上角的像素开始，逐行遍历。
- 在偶数次迭代中，颠倒顺序。
Search
简单三步骤
- 初始化:两张图A和B，将A图中的每一个像素，随机赋予一个偏移量，在B图中找到一个与之对应。
- 传播：每个像素检查来自相邻块的便宜是否提供了更好的匹配，如果是则采用邻居的偏移量。
- 搜索：每一个像素点在以现在的偏移量位中心的同心圆内部，找到一个更加匹配的偏移量。
搜索的半径以图片为尺寸，然后以1/2的收敛速度减少，直到半径为1.