CVPR2020：基於自適應采樣的非局部神經網絡魯棒點雲處理（PointASNL）
PointASNL: Robust Point Clouds Processing Using Nonlocal Neural Networks With Adaptive Sampling
論文地址：
代碼地址： https: //github.com/yanx27/PointASNL
摘要
原始點雲數據通過從三維傳感器獲取或重建算法不可避免地包含異常值或噪聲。本文提出了一種新的用於點雲處理的端到端網絡，稱為PointASNL，能有效地處理有噪聲的點雲。該方法的關鍵部分是自適應采樣（AS）模塊。首先從最遠點采樣（FPS）對初始采樣點周圍的鄰域進行加權，然后自適應調整整個點雲之外的采樣點。AS模塊不僅有利於點雲的特征學習，而且可以減輕離群點的偏差效應。為了進一步捕獲采樣點的鄰域和長程相關性，在非局部運算的啟發下，提出了一個局部非局部（L-NL）模塊。這種L-NL模塊使學習過程對噪聲不敏感。大量的實驗驗證了方法在點雲處理任務中的魯棒性和優越性，無論合成數據、室內數據和室外數據有無噪聲。具體地說，PointASNL在所有數據集上實現了最先進的分類和分割任務的魯棒性能，並且在考慮噪聲的實際室外SemanticKITTI數據集上顯著優於以前的方法。
隨着3D傳感器的普及，對於將獲得更多原始3D數據，例如RGB-D數據、激光雷達數據和MEMS數據[44]。將點雲視為三維數據的基本代表，理解點雲在各種應用中引起了廣泛的關注，例如，自動駕駛[29]，機器人技術[37]，以及地點識別[23]。在這里，點雲有兩個組件：
與二維圖像不同，稀疏性和無序性使健壯的點雲處理成為一項具有挑戰性的任務。此外，從這些三維傳感器獲得的原始數據或重建算法不可避免地包含離群值或現實世界中的噪音。在這項工作中，提出了一個新穎的端到端網絡健壯的點雲處理，名為PointASNL，能有效地處理含有噪聲或離群點的點雲。建議的PointASNL主要包括兩個通用模塊：自適應采樣（AS）模塊和localnonlocal（L-NL）模塊。AS模塊用於調整采樣點的坐標和特征L-NL模塊用於捕獲鄰居和遠程數據采樣點的相關性。與二維圖像的情況不同，傳統的卷積操作不能直接作用於非結構化點雲數據。因此，目前大多數的方法通常使用采樣從原點選擇點的方法用於進行局部特征學習的雲。其中采樣算法，最遠點采樣（FPS）[25]，泊松圓盤抽樣（PDS）[11]和甘貝爾子集抽樣（GSS）[48]在先前的工作中提出。然而，作為最具代表性的一種，FPS植根於歐幾里得距離，這是任務相關的和離群值敏感。PDS是一種預定義的均勻采樣方法無法以數據驅動的方式解決上述問題。GSS公司僅從高維嵌入執行采樣而忽略了點的空間分布。此外，這些方法的共同關鍵問題是采樣點僅限於原始點的一個子集雲。因此，如圖1的左側所示，假設一個離群點被抽樣，會影響下游過程不可避免。
為了克服上述問題，建議可微自適應采樣（AS）模塊用於調整初始采樣點的坐標（例如，從FPS）通過數據驅動的方式。這種坐標調整有助於擬合內在幾何子流形和進一步的移位更正原始點雲之外的點而不使用離群值的影響。因此，AS模塊不僅可以受益點特征學習，同時也改進了模型對噪聲的魯棒性。為了進一步提高性能學習過程對噪聲不敏感，提出了一種局部非局部的方法NL-L近距離捕獲模塊（NL）采樣點的相關性。潛在的原因是，目前，最吸引人的方法是特征學習就是在每個局部組周圍進行查詢采樣點，然后構造基於學習[30，42，50，14]或定義類似卷積的運算[12，47，8，3，44，34]（將表示為局部點電池）。
然而，這樣的點局部單元只考慮局部相鄰區域的信息交互通過層次結構獲取全局上下文，這通常導致自下而上的特征學習。受到啟發的通過非本地網絡的成功[41]，創新性地設計了L-NL模塊，其中的關鍵部件是點非局部單元。尤其是非局部單元允許計算采樣點作為整個點雲，而不是僅僅在一個有限的鄰居內范圍。通過學習到的長依賴關系L-NL模塊可以提供更精確的信息，使系統具有更強的魯棒性點雲處理。如右側所示圖1，雖然取樣點在發動機下部L-NL模塊仍然可以學習具有不同噪聲分布的其發動機的特征。
主要貢獻如下：1）提出了一個穩健點雲的端到端模型處理，PointASNL，可以有效緩解影響離群值或噪聲；2）與建議的自適應采樣（AS）模塊，點ASNL可自適應調整初始采樣點的坐標，使更適合具有內在幾何的特征學習並且對於噪聲異常更為穩健；3）進一步設計在所提出的局部非局部（L-NL）模塊中加入了一個點非局部單元，增強了點局部的特征學習能力細胞。關於分類和分割的廣泛實驗任務驗證了方法的健壯性。
2．相關工作基於體積和基於投影的方法。
考慮到點雲的稀疏性和內存消耗，直接體素化不是很有效點雲，然后使用三維卷積進行特征提取學習。各種后續改進方法例如，高效的時空卷積MinkowskiNet[5]，計算有效子流形稀疏卷積[7]，和基於Oc樹的神經網絡O-CNN[39]和OctNet[27]。這樣的方法大大改進了計算效率，從而導致點雲作為輸入，無需采樣和優越的容量。還有其基於網格的方法使用傳統的卷積運算，例如，將三維數據投影到多視圖二維圖像[32]和晶格空間[31]。然而這些方法的卷積運算缺乏捕捉非局部幾何特征。基於點的學習方法。PointNet[24]是先鋒直接處理稀疏和非結構化點雲，通過使用點態多層感知最大池操作。PointNet++[25]進一步適用k-NN分組后接最大限度地收集區域信息。因為聚集在一起地方特色簡單到最大的激活，區域性信息尚未得到充分利用。
最近，很多已經為有效的本地特性聚合做出了努力。PointCNN[20]將相鄰點轉換為規范點順序，使傳統的卷積可以正常角色。Point2Sequence[21]使用注意力機制收集不同地區的信息。方法[47,44,11,22,30,40]直接使用關系式在社區和地方中心之間學習動態卷積重量，其中ECC[30]和RS-CNN[22]使用特別定義的6-D和10-D向量作為邊緣關系，PCCN[40]和PointConv[44]投射了相對位置一個卷積重量的兩點。A-CNN網[16]使用環卷積對具有不同與本地中心點和PointWeb的距離[50]進一步連接局部區域中的每個點對以獲得更具代表性的區域特色。不過，這些方法只關注局部特征聚合，獲取全局特征從局部特征到層
次結構的上下文。另一方面，還有各種各樣的作品從局部特征的全局上下文。A-SCN[46]使用一種聚集全局特征的全局注意機制但缺乏當地信息的支持取得良好效果。DGCNN[42]提出了EdgeConv生成邊緣特征和在特征空間中搜索鄰域的模塊。LPD Net[23]進一步擴展了DGCNN空間鄰域和特征鄰域聚合。然而，特征空間中的鄰域並不具有代表性以及空間感受野網絡逐漸變得混亂無層次結構。異常值去除和抽樣策略。異常值和噪聲通常存在於原始點雲數據中。以前的健壯用於去除離群值的統計方法[1]受到非平凡的參數調整或需要額外的信息[43]。
提出了各種數據驅動方法[9,26]對於離群值移除，首先丟棄一些離群值，然后然后將噪波點投影到干凈的曲面上。然而，這些方法無法固有地合並健壯的點雲特征以聯合學習的方式去除離群值進行學習。打開另一方面，基於深度學習的點雲處理方法通常是采樣點，以減少計算量消費。然而，大多數抽樣方法都是有限的由噪聲敏感度而非數據驅動[25，11]，或者不考慮空間分布[48]。所以網絡[19]使用了一個無監督的神經網絡，比如說自組織地圖（SOM），利用點雲。然后使用PointNet++[25]對較小的采樣“節點”。但是，這樣的網不屬於在線自適應采樣。在局部假設下標簽一致性，有些作品使用的幾何中心體素網格統一表示采樣點[34，30]，忽略了點分布影響的差異。不過，這些方法對噪聲和無法學習采樣點的空間分布同一時間。
3. Our Method
3.1．自適應采樣（AS）模塊
最遠點采樣（FPS）廣泛應用於許多領域點雲框架，因為可以生成一個相對統一的采樣點。因此，鄰居可以盡可能多的輸入點雲。盡管如此，FPS主要有兩個問題：（1）非常敏感對於離群點，這使得在處理時非常不穩定使用真實的點雲數據。（2） 取樣點來自FPS必須是原始點雲的子集，這使得如果在采集過程中會出現遮擋和丟失錯誤。
3.2．本地非本地（L-NL）模塊
在L-NL模塊中，有兩個單元：局部點（PL）單元和點非局部（PNL）單元。特別是cell可以是任何吸引人的算法（例如PointNet++[25]，PointConv[44]），並且PNL cell創新性地考慮采樣點與整點的相關性多尺度雲。因此，語境學習通過結合局部和全局信息（見圖2（b））。
3.3．PointASNL
在每一層中將兩個部分結合起來，可以實現分類和分割任務的體系結構。對於分類，設計了一個三層網絡並在兩個級別上向下采樣輸入點。特別地，前兩層采樣512和124個點。第三個層將前兩層的全局特征與最大池，其中新功能完全由分別連接層、dropout和softmax層。批處理規范化層和ReLU函數是用於每層。此外，跳過連接[10]是用於前兩層。對於分段（參見圖4），每個編碼器層與分類中的設置類似，但網絡有更深的結構（1024-256-64-16）。在解碼器部分，使用3-最近插值[25]獲得上采樣特征也可以使用L-NL塊進行更好的特征學習。此外，跳過連接被用來傳遞特征在編碼器和解碼器。
4. Experiment
在各種任務上評估PointASNL，包括合成數據集，大型室內外場景分割數據集。在所有的實驗中，實現了在一個GTX 1080Ti GPU上使用Tensorflow的型號。
