3D點雲完美匹配
The Perfect Match: 3D Point Cloud Matching with Smoothed Densities
地址鏈接：
代碼鏈接：https://github.com/zgojcic/3DSmoothNet
摘要
提出三維平滑網，一個完整的工作流程來匹配三維點雲與siamese深度學習架構和全卷積層使用體素化平滑密度值（SDV）表示。后者按興趣點計算，並與局部參考坐標系（LRF）對齊，以實現旋轉不變性。緊湊、學習、旋轉不變的三維點雲描述符在3DMatch基准數據集[49]上實現了94.9%的平均召回率，在僅32個輸出維度的情況下，其性能超過最新水平20%以上。這種非常低的輸出維度允許在標准PC上對每個特征點進行0.1毫秒的近實時對應搜索。SDV、LRF和學習具有完全卷積層的高描述性特征，本文用傳感器和場景診斷。在建築物的RGB-D室內場景上訓練的3d smoothnet在室外植被的激光掃描上達到79.0%的平均召回率，比最近的、以學習為基礎的競爭對手[49、17、5、4]的性能提高了一倍以上。
貢獻
提出了一種新的用於三維點雲匹配的緊湊學習局部特征描述子，該描述子計算效率高，性能顯著優於現有的所有方法。
一個主要技術創新是平滑密度值（SDV）體素化，是一種新的輸入數據表示方法，適用於標准深度學習庫的完全卷積層。SDV的增益是兩倍。一方面，它減少了稀疏性輸入體素網格，在反向傳播過程中有更好的梯度流動，同時減少邊界效應，以及平滑由於局部參考幀（LRF）估計錯誤而導致的小的未對准。另一方面，模擬了深層網絡通常在第一層學習的平滑，節省了學習高度描述性特征的網絡容量。
其次，提出了一個具有完全卷積層的暹羅網絡結構，學習一個非常緊湊的、旋轉不變的3D局部特征描述。這種方法生成低維、高度描述性的特征，這些特征概括了不同的傳感器模式以及從室內到室外的場景。
此外，證明了低維特征描述符（只有16或32個輸出維）極大地加快了對應搜索的速度，從而允許實時應用。
工作流程如下（圖2和3）：
（i）給定兩個原始點雲。
（ii）計算隨機選擇的興趣點周圍球面鄰域的LRF。
（iii）將鄰域轉換為其規范表示。
（i v）借助高斯平滑對其進行體素化。
（v）推斷每個點的局部特征使用3DSmoothNet的描述符，例如，用作基於RANSAC的健壯點雲注冊管道的輸入。
與手工制作的特征表示不同，SDV體素網格表示為輸入提供了幾何信息結構，能夠利用卷積層來捕獲點雲的局部幾何特征（圖5）。
網絡架構（圖3）受到L2Net[36]的啟發，L2Net是一個最先進的學習型局部圖像描述符。3DSmoothNet由堆疊的卷積層組成，在一些卷積層中應用2步（而不是最大池）來向下采樣輸入[33]。除最后一層外，所有卷積層后面都是批量標准化[14]並使用ReLU激活函數[22]。
在3DMatch數據集的點雲碎片上訓練3dsmouthNet（圖3）[49]。這是一個RGB-D數據集，由62個真實的室內場景組成，從辦公室和酒店房間到桌面和衛生間。從數據集池[41、32、19、39、3]獲得的點雲被分成54個場景進行訓練，8個場景進行測試。每一個場景被分割成若干部分重疊的片段，其地面真值轉換參數為T。
表中總結了與3DMatch數據集的最新實驗評估結果的比較。圖4所示為1（左）和2個hard數據集。
一般目標是以最低的輸出維度（即3dsmouthNet最后一個卷積層中的濾波器數目）實現最高的匹配性能，以減少運行時間並節省內存。首先進行測試，以找到3dsmouthNet描述符匹配性能和效率之間的一個很好的折衷方案。隨着輸出尺寸的增加，3dsmouthNet的性能很快開始飽和（圖6）。當使用超過64個維度時，只有邊際改進（如果有的話）。決定只對16維和32維的3DSmoothNet進行進一步的實驗。
增大輸入比τ2=0.2顯著減少RANSAC迭代到≈850，大大加快處理速度。評估了與所有其他測試方法相比，逐漸增加的內聯比如何改變3DSmoothNet的性能（圖7）。當τ2=0.2時，所有其他方法的平均召回率都低於30%，而（16）（藍色）和（32）（橙色）的召回率分別高達62%和72%。只要3dsmouthNet替換現有的描述符，任何基於描述符的點雲注冊管道都可以變得更加高效。
由於內存限制，3DMatch使用邊緣等於1.5 m的體素網格。ETH數據集的結果報告在表3中。3DSmoothNet的平均性能最好（右欄），本文平均召回率為79.0%，明顯優於平均召回率為48.2%，因為它的輸出維度更大。（32人）以超過15%的分數擊敗亞軍（無監督），而所有最先進的方法都顯著低於30%。事實上，（32）應用於室外激光掃描仍然優於所有在3DMatch數據集上接受訓練和測試的競爭對手（參見表1，表3）。
將3DMatch測試片段上每個興趣點的方法平均運行時間與Tab4中的[49]進行比較（與Intel Xeon E5-1650、32 GB ram和NVIDIA GeForce GTX1080運行在同一台PC上）。注意，輸入准備（input prep.）和[49]的推斷是在GPU上處理的，在CPU上以當前狀態進行輸入准備。