作者：Tom HardyDate：2020-04-15
1.PVN3D: A Deep Point-wise 3D Keypoints Voting Network for 6DoF PoseEstimation
文章鏈接：https://arxiv.org/abs/1911.04231
代碼鏈接：https://github.com/ethnhe/PVN3D
在這項工作中，論文提出了一種新的數據驅動下的方法，可以從單一的RGB-D圖像中進行魯棒的6自由度物體姿態估計。與往前直接回歸姿態參數的方法不同，本文使用基於關鍵點的方法來處理這一具有挑戰性的任務。具體地說，提出了一個深度Hough投票網絡來檢測物體的三維關鍵點，並使用最小二乘擬合的方式估計6D姿態參數。論文的方法是二維關鍵點方法的自然擴展，成功地用於基於RGB的六自由度估計。它可以充分利用具有額外深度信息的剛性物體的幾何約束，便於網絡學習和優化。通過大量的實驗驗證了三維關鍵點檢測在6D姿態估計任務中的有效性。實驗結果還表明，論文的方法在多個基准上都比最新的方法有很大的性能提升。
2.D3VO: Deep Depth, Deep Pose and Deep Uncertainty for Monocular VisualOdometry
論文鏈接：https://arxiv.org/abs/2003.01060
論文提出D3VO作為一個新的單目視覺里程測量框架，它利用深度、姿態和不確定性三個層次的深層網絡。本文首先提出了一種新的無需外部監控的立體視頻單目深度估計網絡，它通過預測亮度變換參數將訓練圖像對對齊到相似的照明條件中。此外，還對輸入圖像上像素的光度不確定性進行了建模，提高了深度估計的精度，並為直接（無特征）視覺里程測量中的光度殘差提供了學習的加權函數。評價結果表明，網絡的性能優於現有的自監督深度估計網絡。D3VO將預測的深度、姿態和不確定性緊密地結合到一種直接的視覺里程測量方法中，既提高了前端跟蹤性能，又提高了后端非線性優化性能。論文在KITTI odometry基准和EuRoC MAV數據集上根據單目視覺里程計評估D3VO。結果表明，D3VO算法在很大程度上優於目前最先進的單目VO算法。它在僅使用一個攝像頭下還獲得了與KITTI上最先進的立體聲/激光雷達里程表和EuRoC MAV上最先進的視覺慣性里程表相當的結果。
3.Total3DUnderstanding: Joint Layout, Object Pose and MeshReconstruction for Indoor Scenes from a Single Image
論文鏈接：http://arxiv.org/abs/2002.12212v1
室內場景的語義重建是指場景理解和物體重建。現有的工作要么解決這個問題的一部分，要么關注獨立的對象。本文將理解與重建之間的鴻溝聯系起來，提出了一種端到端的方法來從單個圖像中聯合重建房間布局、對象邊界框和網格。本文的方法沒有分別解決場景理解和對象重建問題，而是建立在整體場景上下文的基礎上，提出了一個由粗到細的層次結構，該層次結構由三個部分組成：帶相機姿勢的房間布局、三維對象邊界框、對象網格。我們認為，理解每個組件的上下文有助於解析其他組件，從而實現聯合理解和重構。在SUN-RGBD和Pix3D數據集上的實驗表明，該方法在室內布局估計、三維目標檢測和網格重建方面均優於現有方法。
4.RPM-Net: Robust Point Matching using Learned Features
論文鏈接：http://arxiv.org/abs/2003.13479v1
代碼鏈接：https://github.com/yewzijian/RPMNet
迭代最近點法（ICP）分兩步迭代求解剛性點雲配准問題：（1）對空間上最近點對應關系進行硬賦值，然后（2）求出最小二乘剛性變換。基於空間距離的最近點對應的硬賦值對初始剛性變換和噪聲/離群點敏感，往往導致ICP收斂到錯誤的局部極小值。本文提出了RPM網絡，一種對初始化不敏感的基於深度學習的剛性點雲配准方法。網絡使用可微Sinkhorn層和退火算法從空間坐標和局部幾何中學習的混合特征中獲得點對應的軟分配。為了進一步提高配准性能，論文引入二次網絡來預測最優退火參數。與某些現有方法不同，RPM網絡可以處理缺少的對應關系和部分可見性的點雲。實驗結果表明，與現有的非深度學習和最新的深度學習方法相比，本文的RPM網絡達到了SOTA。
5.Learning multiview 3D point cloud registration
論文鏈接：https://arxiv.org/abs/2001.05119v2
代碼鏈接：https://github.com/zgojcic/3D_multiview_reg
論文提出了一種新的、端到端可學習的多視點三維點雲配准算法。多個掃描的注冊通常遵循兩個階段的流程：初始成對對齊和全局一致優化。前者由於相鄰點雲重疊程度低、對稱性強、場景部分重復等原因，往往具有模糊性。因此，后一種全局求精旨在建立跨多個掃描的循環一致性，並有助於解決不明確的情況。本文提出了第一個端到端的算法來聯合學習這兩個階段的問題。在公認的基准數據集上進行的實驗評估表明，論文的方法比目前最先進的方法有顯著的優勢，同時具有端到端可訓練和計算成本較低的特點。此外，還提出了詳細的分析和消融研究，驗證了論文方法的新組成部分。
6.D3Feat: Joint Learning of Dense Detection and Description of 3DLocal Features
論文鏈接：http://arxiv.org/abs/2003.03164v1
代碼鏈接：https://github.com/XuyangBai/D3Feat
一個成功的點雲配准通常依賴於通過區分三維局部特征建立稀疏匹配。盡管基於學習的三維特征描述子的發展很快，但是對於三維特征檢測器的學習卻沒有引起足夠的重視，更不用說對這兩個任務的聯合學習了。本文利用三維全卷積網絡對三維點雲進行學習，提出了一種新的、實用的學習機制，該學習機制可以對每個三維點的檢測分數和描述特征進行密集預測。特別地，提出了一種克服三維點雲固有密度變化的關鍵點選擇策略，並進一步提出了一種在訓練過程中由實時特征匹配結果引導的自監督檢測器損耗。最后，本文的方法在室內和室外場景下都取得了最新的結果，在3DMatch和KITTI數據集上進行了評估，並在ETH數據集上顯示出了很強的泛化能力。在實際應用中，采用可靠的特征檢測器，對少量特征進行采樣，就可以實現精確快速的點雲對齊。
7.SPARE3D: A Dataset for SPAtial REasoning on Three-View Line Drawings
論文鏈接：http://arxiv.org/abs/2003.14034v1
數據集鏈接：https://ai4ce.github.io/SPARE3D
空間推理是人類智能的重要組成部分。我們可以想象三維物體的形狀和它們的空間關系的原因，只需在二維中查看它們的三個視圖線，它們具有不同的層次
能力。深層網絡能被訓練來執行空間推理任務嗎？我們如何測量他們的“空間智能”？為了回答這些問題，論文展示了SPARE3D數據集。基於認知科學和心理測量學，SPARE3D包含視圖一致性、相機姿態和形狀生成三種類型的2D-3D推理任務，難度越來越大。我們設計了一種方法來自動生成大量具有挑戰性的問題，每個任務都有基本的真實答案。它們用於提供監督，以使用最先進的架構（如ResNet）來培訓基線模型。實驗表明，盡管卷積網絡在許多視覺學習任務中都取得了超人的性能，但它們在SPARE3D中的空間推理性能幾乎等同於隨機猜測。
我們希望SPARE3D能夠激發新的空間推理問題公式和網絡設計，使智能機器人能夠通過二維傳感器在三維世界中有效地工作。
8.InPerfectShape: Certifiably Optimal 3D Shape Reconstruction from 2DLandmarks
論文鏈接：http://arxiv.org/abs/1911.11924v2
本文研究了從單個圖像中提取的二維地標進行三維形狀重建的問題。采用三維可變形形狀模型，將重建過程描述為攝像機姿態和線性形狀參數的聯合優化。論文的第一個貢獻是應用Lasserre的凸平方和（SOS）松弛層次來解決形狀重建問題，並證明了最小2階的SOS松弛在經驗上精確地解決了原非凸問題。論文的第二個貢獻是利用目標函數中多項式的結構，找到SOS松弛的基單項式的約化集，該約化集在不影響精度的情況下顯著減小了得到的半定程序（SDP）的大小。
這兩個貢獻導致了第一個可證明的三維形狀重建最優解算器，我們稱之為shape*。論文的第三個貢獻是利用截斷最小二乘（TLS）魯棒代價函數和梯度非凸性求解TLS添加了一個離群拒絕層的shape*，無需初始化。結果是一個健壯的重建算法，命名為Shape#，它可以容忍大量的異常值測量。
9.PFNet: Point Fractal Network for 3D Point Cloud Completion
論文鏈接：http://arxiv.org/abs/2003.00410v1
本文提出了一種新的基於學習的點雲精確高保真完成方法——點分形網絡（PFNet）。PFNet不同於現有的點雲補全網絡，它從不完整的點雲中生成點雲的整體形狀，並且總是改變現有的點，遇到噪聲和幾何損失，它保留了不完整點雲的空間布局，並能計算出缺失點雲的詳細幾何結構預測中的區域。為了成功地完成這一任務，PF-Net利用基於特征點的多尺度生成網絡，對缺失點雲進行分層估計。此外，論文將多階段完成損失和對抗性損失相加，生成更為真實的缺失區域。在預測中，對抗性損失可以更好地處理多種模式。實驗證明了論文中的方法對於一些具有挑戰性的點雲補全任務的有效性。
10.PointAugment: An Auto-Augmentation Framework for Point CloudClassification
論文鏈接：http://arxiv.org/abs/2002.10876v2
論文提出了一種新的自動增強框架PointAugment，它在訓練分類網絡時自動優化和增強點雲樣本，以豐富數據的多樣性。與現有的二維圖像自增強方法不同，PointAugment具有樣本感知能力，采用對抗學習策略對增強器網絡和分類器網絡進行聯合優化，使增強器能夠學習生成最適合分類器的增強器樣本。此外，本文還利用形狀變換和點位移構造了一個可學習的點增廣函數，並根據分類器的學習進度精心設計了采用增廣樣本的損失函數。大量的實驗也證實了PointAugment的有效性和魯棒性，以及提高各種網絡在形狀分類和檢索方面的性能。
11.PointASNL: Robust Point Clouds Processing using Nonlocal NeuralNetworks with Adaptive Sampling
論文鏈接：https://arxiv.org/abs/2002.10876v2
代碼鏈接：https://github.com/yanx27/PointASNL
原始點雲數據通過三維傳感器采集或重建算法，不可避免地會包含異常點或噪聲。本文提出了一種新的端到端的點雲處理網絡PointASNL，它能有效地處理帶有噪聲的點雲。該方法的關鍵部分是自適應采樣（AS）模塊。它首先從最遠點采樣（FPS）開始對初始采樣點周圍的鄰域重新加權，然后自適應地調整整個點雲之外的采樣點。AS模塊不僅有利於點雲的特征學習，而且可以緩解異常點的偏倚效應。為了進一步捕獲針對采樣點的鄰域依賴性和長距離依賴性，論文提出了一種基於非局部操作的局部非局部（L-NL）模型。這種L-NL模塊使得學習過程對噪聲不敏感。大量實驗驗證了該方法在點雲處理任務中的穩健性和優越性，無論是合成數據、室內數據和有無噪聲的室外數據。PointASNL在所有數據集上實現了分類和分割任務的最新魯棒性能，並且在噪聲情況下，在SemanticKITTI數據集上顯著地優於以前的方法。
12.RandLANet: Efficient Semantic Segmentation of Large-Scale PointClouds
論文鏈接：http://arxiv.org/abs/1911.11236v2
本文研究了大規模三維點雲的有效語義分割問題。依靠昂貴的采樣技術或計算量大的前/后處理步驟，大多數現有方法只能在小尺度點雲上進行訓練和操作。本文介紹了一種高效、輕量級的神經網絡結構RandLA-Net，用於直接推斷大規模點雲的逐點語義。論文方法的關鍵是使用隨機點采樣而不是更多復雜點選擇方法。
盡管隨機抽樣具有顯著的計算效率和存儲效率，但它可能會偶然丟棄關鍵特征。為了克服這一缺點，論文引入了一種新的局部特征聚合模塊來逐步增加每個3D點的接收場，從而有效地保留幾何細節。大量實驗表明，RandLA網絡在一次傳遞中可以處理100萬個點，比現有方法快200倍。此外， RandLA網絡Semantic3D 和SemanticKITTI兩個大規模基准上明顯超過了最新的語義分割方法。
