稠密重建(Multiple View Stereo)
即多視圖立體幾何,目的是在相機位姿已知的前提下,逐像素的計算圖像中每一個像素點對應的三維點,得到場景物體表面密集的三維點雲。
輸入:多視角圖像、相機位姿
輸出:稠密點雲

第三種方法常用,因為可以並行計算,不受圖像規模的影響。
稠密重建假設相機的位姿、內參都已知,在三維空間中具有圖像一致性(Photo-consistency)的點

什么叫圖像一致性呢?
假設對於下面兩幅圖像和這樣一個三維場景,若選擇的三維點位於物體的表面上,那么這個三位點根據相機的內外參投影到圖像上,以投影點為中心取出兩個方形的小patch,那么它們所包含的場景應該是比較類似的。

反之,如果這個點在物體外,兩個小patch相差是比較大的,若能度量兩個patch之間的一致性,就可以衡量這個三維點是否位於物體表面或者位於這個物體表面的概率大小。







如果在左圖像中選擇了一個方形的窗口,那么這個窗口中的每一個點在右圖像中它的對應點在哪里呢?因此用了多視幾何中單應變換來完成左右兩幅圖像中點的對應。

假設左右兩幅圖像兩個窗口滿足單應變換,基本前提是兩個窗口中的所有點都要位於空間的同一平面。

但有下面圖像中的窗口里。背景點和物體點顯然不在同一個平面。因此可以使用Adaptive weight。

還可以發現在背景中呈現了表較明顯階梯狀,這是因為假設的前提,假設所有平面都是平行於相機平面。更合理的方式,在聚合時不同平面的像素點使用不同法向空間平面進行聚合。並沒計算出深度圖,並不知道每一個點實際的空間法向是多少。找幾個除平行於相機平面的,特定的平面如30°、60°等等。



PatchMatch的思路:既然找到空間平面所在的法向對聚合很重要,干脆就為每一個像素點尋找一個最優的空間法向,但不可能全都遍歷一遍。隨機初始化和零的傳播

