作者：三弟 3D
點擊上方“3D視覺工坊”，選擇“星標”
干貨第一時間送達
Gridding Residual Network for Dense Point Cloud Completion
主頁：https://haozhexie.com/project/grnet
在點雲分割方面，有一些方法嘗試通過更通用的卷積操作來捕捉點雲的空間關系。但是之前的方法都是基於一個強烈的假設，即輸出點與輸入點的三維坐標的相同，因此不能用於三維點雲補全。
為了解決上述問題，我們引入3D網格作為中間的表征來規范化無序點雲，從而明確地保留了點雲的結構和背景。因此，我們提出了一種新的點雲完成的網格化殘差網絡（GRNet）。除了3D CNN和MLP，我們設計了三個可微層。Gridding, Gridding Reverse, 和三次特征采樣。在Gridding中，對於點雲中的每個點，該點所在的三維網格單元的八個頂點先使用插值函數進行加權，該函數明確地測量了幾何學上的點雲的關系。然后引入了3D網格作為中間表示來規整無序點雲，它明確地保留了點雲的結構和局部關系。接下來，Gridding Reverse將輸出的三維網格轉換為粗點雲，將每個三維網格單元替換為一個新點，其坐標為三維網格單元八個頂點的加權和。接下來的三次特征采樣通過將該點所在的三維網格單元對應的八個頂點的特征進行串聯，提取粗點雲中每個點的特征。粗點雲和特征送入到MLP，得到最終補全的點雲。本文的貢獻如下。
- 我們創新性地引入了3D網格作為中間表征來規范化無序點雲，明確地保留了點雲的結構和背景下的點雲。
- 我們提出了一種新型的用於點雲完成的網格化剩余網絡（GRNet）。我們設計了三個可區分的層。Gridding, Gridding Reverse, and Cubic Feature Sampling, as well as a new Gridding Loss.
- 在ShapeNet、 Completion3D和KITTI基准上進行了廣泛的實驗，結果表明，所提出的GRNet與最先進的方法相比表現良好。
網格殘差網絡
GRNet 在以粗糙到精細的方式從不完整的點雲中恢復完整的點雲。它由五個部分組成，分別是網格化、3D卷積神經網絡、反向網格化、立方特征采樣和多層感知器，如圖1所示。
網格化
3D卷積神經網絡
逆網格化
三次特征采樣
實驗
作者在 ShapeNet、Completion3D 和 KITTI 三個數據及分別進行了實驗，並且與 PCN 等方法進行了比較。在度量指標上，作者認為只用 Chamfer 距離不能客觀的評價補全的點雲，事實上 Chamfer 距離在數值上及時較低，預測的點雲可能並沒有一個很好的分布，因此作者同時考慮了用 F-Score 作為量化指標。
量化指標
數據集
ShapeNet：最初在 ShapeNet 數據集是 PCN 的工作，由來自8個類別的30,974個3D模型組成。真實值在網格表面上均勻采樣 16,384個點。部分點雲是通過反投影2.5D深度映射到3D。
Completion3D：Completion3D 實驗機[11]由28,974個和800個樣本分別進行訓練和驗證。與 PCN 方法的ShapeNet 數據集不同的是，真實點雲上只有2,048個點。
在 ShapeNet 上可視化結果，最左邊是輸入，最右側是 Groud Truth，倒數第二列是本文 GRNet 的結果。
KITTI：KITTI 數據集由現實世界的 Velodyne LiDAR掃描序列組成，也是從 PCN 中獲得。對於每一幀，汽車是根據3D邊界框提取的，從而獲得 2,401個局部點雲。KITTI中的局部點雲非常稀疏，並且不有完整的點雲作為真實值。在 KITTI 雷達掃描的可視化結果。
總結
本文研究了如何恢復完整的3D點雲。補全工作的動機是用卷積保留3D點雲的結構和局部信息。為此，作者引入3D網格作為中間表示以進行正則化無序的點雲。然后，提出了網格殘差網絡（GRNet）進行點雲。在 ShapeNet、Completion3D 和 KITTI 數據集進行了廣泛的比較，並表明提出的 GRNet 與最先進的方法相比表現出色。
本文僅做學術分享，如有侵權，請聯系刪文。
下載1
在「3D視覺工坊」公眾號后台回復：3D視覺，即可下載 3D視覺相關資料干貨，涉及相機標定、三維重建、立體視覺、SLAM、深度學習、點雲后處理、多視圖幾何等方向。
下載2
在「3D視覺工坊」公眾號后台回復：3D視覺github資源匯總，即可下載包括結構光、標定源碼、缺陷檢測源碼、深度估計與深度補全源碼、點雲處理相關源碼、立體匹配源碼、單目、雙目3D檢測、基於點雲的3D檢測、6D姿態估計源碼匯總等。
下載3
在「3D視覺工坊」公眾號后台回復：相機標定，即可下載獨家相機標定學習課件與視頻網址；后台回復：立體匹配，即可下載獨家立體匹配學習課件與視頻網址。
重磅！3DCVer-學術論文寫作投稿 交流群已成立掃碼添加小助手微信，可申請加入3D視覺工坊-學術論文寫作與投稿 微信交流群，旨在交流頂會、頂刊、SCI、EI等寫作與投稿事宜。
同時也可申請加入我們的細分方向交流群，目前主要有3D視覺、CV&深度學習、SLAM、三維重建、點雲后處理、自動駕駛、CV入門、三維測量、VR/AR、3D人臉識別、醫療影像、缺陷檢測、行人重識別、目標跟蹤、視覺產品落地、視覺競賽、車牌識別、硬件選型、學術交流、求職交流、ORB-SLAM系列源碼交流、深度估計等微信群。一定要備注：研究方向+學校/公司+昵稱，例如：”3D視覺 + 上海交大 + 靜靜“。請按照格式備注，可快速被通過且邀請進群。原創投稿也請聯系。▲長按加微信群或投稿▲長按關注公眾號
3D視覺從入門到精通知識星球：針對3D視覺領域的知識點匯總、入門進階學習路線、最新paper分享、疑問解答四個方面進行深耕，更有各類大廠的算法工程人員進行技術指導。與此同時，星球將聯合知名企業發布3D視覺相關算法開發崗位以及項目對接信息，打造成集技術與就業為一體的鐵桿粉絲聚集區，近2000星球成員為創造更好的AI世界共同進步，知識星球入口：
學習3D視覺核心技術，掃描查看介紹，3天內無條件退款 圈里有高質量教程資料、可答疑解惑、助你高效解決問題覺得有用，麻煩給個贊和在看~