論文地址： https://arxiv.org/abs/2105.01288
代碼： https://curvenet.github.io/
摘要
離散點雲對象缺乏足夠的三維幾何圖形的形狀描述符。在本文中，我們提出了一種新的方法來聚合點雲中的假設曲線。連接點（曲線）的序列最初通過在點雲中進行引導行走進行分組，然后聚合回來以增強其逐點特征。我們提供了所提出的聚合策略的有效實現，包括一個新的曲線分組運算符，然后是一個曲線聚合運算符。我們的方法在幾個點雲分析任務上進行了基准測試，在ModelNet40分類任務上達到了94.2%的最新分類精度，在ShapeNetPart分割任務上達到了86.8%的實例IoU，在ModelNet40法線估計任務上達到了0.11的余弦誤差。我們的項目頁面位於：https://curvenet.github.io/ 。
1、引言
點雲是一系列室內/室外計算機視覺應用中的主要數據結構。現在，各種各樣的三維傳感器（如激光雷達傳感器）能夠捕捉現實世界中的物體，通過對表面上的離散點進行采樣，可以將它們投影到數字形式。為了更好地理解三維目標，需要有效的點雲分析技術和方法。隨着深度學習的蓬勃發展，先鋒著作[26,28]及其追隨者[20,6,43,1,42,7,17,47]通過精心設計的神經網絡處理點雲，學習輸入點坐標與地面真值標簽之間的潛在映射。與傳統的二維視覺任務不同，點雲通常是不規則和無序的，因此，有效地設計點雲之間的特征聚集和信息傳遞方案仍然是一個挑戰。
局部特征聚合是近年來被廣泛研究的一種基本操作。對於每個關鍵點，其鄰域點特征首先按預定義規則（例如KNN）進行分組。隨后計算查詢點與相鄰點之間的相對位置編碼，並將其傳遞到各種基於點的變換和聚合模塊中進行局部特征提取。 盡管上述操作在一定程度上有助於描述局部模式，但忽略了長程點關系。 雖然非局部模塊[34]提供了一種聚合全局特征的解決方案，但我們認為全局點到點映射可能仍然不足以提取點雲形狀隱含的底層模式。
為此，我們提出通過在點雲曲面上生成連續的點線段序列來改進點雲幾何學習。我們認為，與目前流行的局部和非局部算子相比，這種連續描述子更適合描述點雲對象的幾何結構。我們把這樣的連續描述符表示為曲線。通過將點雲視為一個無向圖，其中離散點作為圖節點，相鄰點連接作為圖邊，因此曲線可以描述為圖中的行走。圖1直觀地比較了局部聚合、非局部聚合和曲線聚合操作符。在本文中，我們首先回顧了局部特征聚合的一般形式，並深入討論了為什么需要長距離特征聚合策略（第3.1節)。然后，我們通過定義曲線分組策略（第3.2節）以及曲線特征和點特征之間的聚合（第3.3)。 一個新的點雲處理網絡CurveNet是通過將所提出的模塊和幾個基本的構建塊集成到ResNet[4]風格的網絡中來構建的。
本文的主要貢獻有三個方面：
(1）提出了一種新的點雲形狀分析的特征聚合方法。對點（曲線）序列進行分組和聚合，以便更好地描述點雲對象的幾何圖形。提出了一種新的曲線分組算子和曲線聚集算子來實現曲線特征的傳播
(2）我們研究了分組循環的潛在缺點，並提供了相應的解決方案。此外，還提出了一種動態編碼策略，使得曲線在抑制潛在交叉的同時能夠包含更豐富的信息
(3）我們將曲線模塊嵌入到一個名為CurveNet的網絡中，該網絡在目標分類、法向量估計和目標部件分割任務上取得了最新的結果。
2、相關工作
3D點雲處理
點雲分析的最大挑戰之一是處理非結構化表示。從間接表示變換方法[16,11,29,13]到直接特征傳播方法[26,46,6]，許多工作已經朝着有效的點雲分析方向發展。
作為最早的直接方法之一，PointNet/PointNet++[26，28]利用共享mlp來學習逐點特性。隨后，最近的工作將逐點方法擴展到各個方向，包括設計高級卷積運算[12、42、37、19]，考慮更寬的鄰域[14、49、35、21]，以及它的自適應聚合[6、43、48、44]。上述方法的成功離不開特征聚合算子的幫助，它實現了深層網絡中離散點的直接信息傳遞。
現有的特征聚合算子一般可分為兩類：局部特征聚合和非局部特征聚合。作為局部聚集算子的代表，EdgeConv[35]學習關鍵點與其特征空間鄰域之間的語義位移。非局部聚集算子的興起始於非局部網絡[34]，通過非局部網絡將全局特征轉換並聚集在一起，學習多對一特征映射。隨着Transformer[33]最近在視覺任務中的成功應用，Guo等人[3]設計了一個由簡單Transformer組成的點雲處理架構。
除了局部和非局部的特征聚集算子外，我們還提出了一種新的點雲分析方法，即對形狀分段、邊緣和曲線進行特殊處理。通過聚集額外的曲線特征，可以豐富潛在的信息，從而得到更好的特征描述。
3D點雲中的采樣技術
采樣技術聚集了指示點模式，因此對所有點雲處理方法都是必不可少的。基於體素化的方法[27、36、38、23]將離散點空間轉換為三維網格（體素），其中輸入點雲表現為連續三維空間上的離散采樣。然而，這種采樣的質量對細分頻率非常敏感。與基於體素化的采樣方法類似，基於視圖的方法[32、10、39]通過從不同角度捕捉點雲的2D快照來采樣3D信息，並基於2D圖像的集合進行預測。在這樣的圖像采樣過程中，空間信息的丟失是不可避免的。
最近文獻中的先進采樣方法克服了上述缺點，在基本點雲分析任務中取得了很好的結果。GS-Net[41]利用特征圖對具有相似歐氏距離和幾何信息的點進行分組。PointASNL[43]和SOCNN[46]對相鄰點和全局點進行采樣，以獲得點雲對象的完整描述。與上述方法不同的是，PAT[44]借助變壓器[33]對點雲建模，並通過Gumbel Softmax門學習點采樣。在最近的一項工作中，RandLA Net[6]回顧了多種不同的采樣技術，並采用了隨機采樣來實現非常高效的點雲處理。與現有的采樣方法不同的是，我們將相鄰的點段作為曲線進行采樣和分組，這些曲線包含了描述物體形狀和幾何結構的豐富信息。
3、方法
在這一節中，我們描述提出的對任意點雲P={p}及其逐點特征F={f}的曲線進行分組和聚合的運算符。如上所述，曲線表示點雲中點的連接序列，可以正式定義為：
定義1（點雲中的曲線） 給定P，F和同構圖G=（F，E） 用KNN算法計算P上的連通度E。將特征空間中長度為l的曲線c生成為F中的點特征序列，使得C = {s1,··· ,sl|s∈F} 。為了對曲線進行分組，我們考慮一個定義在同構圖G上的行走策略π，它從起點s1開始一條行走（曲線）並過渡到l步。
3.1局部特征聚合的再思考
局部特征聚合的一般目的是在k個元素的局部空間中學習底層模式。對於每個點p，鄰域N = {p1,··· ,pk}首先采用確定性規則進行分組，KNN算法由於其計算效率高，是最常用的分組算法[6，43，20，46]。然后，計算N中每兩個元素之間的成對差值，並將其疊加在一起。最后，使用共享mlp進一步聚合計算出的編碼，得到局部聚合的特征g。形式上，上述局部特征聚合過程可以表述為：
使用曼哈頓距離Φ(f,fj) = f − fj 作為相對編碼是最自然的做法，已被廣泛采用。然而，我們認為這種編碼方法並不能提供豐富的相對信號，因為點雲中的大多數g在相同的特征通道中包含幾乎相同的信息（不管池策略如何），特別是在淺層中，如圖2所示。由於從三維物體的顯式表示R中采樣的原始點雲是無序的，點雲P可視為在R上建模的特定概率密度函數U中采樣的一組隨機變量，使得P ~U（R）。通過一定數量的網絡層傳播后，F成為隨機變量集P上的變換。
我們首先考慮一個極端情況，其中F表示初始點特征，例如F=P。使用簡單的2D平面（圖2左）作為示例R，稀疏點分散在R2的緊致子空間上。在圖2左上角，三個關鍵點用它們的KNN計算鄰域突出顯示。從實踐中可以觀察到，在采樣點之后，{PA-PAj}和{PB-PBj}最有可能具有相似的值，因為關鍵點被它們的查詢鄰居以相似的模式包圍。但是，邊界上的點C（三維空間中的一條邊或一段不規則的曲面）是一個例外。受R的幾何結構限制，C點查詢鄰域的分布與A、B點查詢鄰域的分布有很大的不同，導致{PC-PCj}的變化。
基於上述觀察，我們聲稱，在任何結構化PDF中，確保在相似幾何體上具有相同的采樣行為，等式1中的g依賴於F和P的分布。點雲對象具有相似的幾何信息，在g中編碼相似和不可分辨的信息。如右圖2所示，椅子的靠背和座椅在同一通道中具有緊密的特征，尤其是在淺層中。豐富g的一個可能策略是使用更多的相對編碼規則，而不是僅僅使用元素差異[6，1]。在本文中，我們通過組合從曲線聚集的特征來豐富局部特征g，如圖2左下角所示。每一條曲線在點雲中覆蓋一條長路徑，編碼獨特的幾何信息，可以用來進一步增加點特征的多樣性
3.2 曲線分組
在本小節中，我們將詳細介紹如何在點雲的特征空間中對曲線進行分組。曲線的起點對整體分組質量至關重要。要同時將n條曲線分組，需要預先確定在Rn×||f||中設置的起點。借用文獻[2]中的top-k選擇方法，我們使用一個sigmoid門控MLP來學習F中每個點特征的選擇分數。起始點是得分最高的n分。為了實現梯度流，我們通過自注意力機制的方式將分數乘以F。
在構建起始點集之后，然后步行W從起點s1中的一個開始並且以正好l步的方式過渡。通過W移動的點被分組形成曲線c。給定走i步后到達的曲線si的中間狀態（在特征空間中對曲線分組時si在數值上等於fi），我們感興趣的是找到一個走i+1步時確定曲線下一個狀態的行走策略π(si)。對於預定義的π(·)，可能最終通過反復執行以下等式l次，可以對曲線c = {s1,··· ,sl}進行分組：
良好的π(·)對於保證有效的曲線分組至關重要。我們提出了一種可學習的π(·)策略來代替確定性策略，該策略可以與骨干網絡一起進行優化。更詳細地說，對於狀態s，我們在狀態描述符hs ∈ R2||s||上應用mlp來決定下一步。狀態描述符被構造為點特征si和曲線描述符ri的拼接，這將在本小節后面介紹。因此，可以通過MLP學習Ns中所有相鄰點上的選擇logits α。然后，我們將α輸入到評分函數（例如softmax），以便在[0；1]中為每個鄰居分配一個基於分數的乘數。得分最高的點就是π(·)的輸出。形式上，我們將π(s)表示為：
其中hsj是KNN鄰居sj的狀態描述符。在前向傳播中，等式4用計算出的α確定下一個狀態。然而，在反向傳播過程中，arg max掩蓋了梯度，因此等式3中的MLP不能按預期更新。
給定計算的α，我們提出了一個替代方程，方程4丟棄arg max門並啟用梯度流。首先，我們為生成一個硬一位熱編碼的得分向量，而不是從softmax函數獲得的軟得分。通過使用gumbel softmax[9，22，44]作為評分函數，logits可以根據arg max索引轉換為一個熱向量。通過gumbelsoftmax計算的梯度與通過softmax計算的梯度相同。然后，我們將查詢鄰居與一位熱編碼得分向量相乘，並將乘法相加。上述運算的最終結果在數值上與式4計算的結果相同。因此，我們可學習的策略定義如下：
其中, .表示沿特征維度的廣播乘法。上述流程的概述如下圖3所示。
通過用最高分點擴展曲線，π(·)基於鄰域中的狀態描述符來確定曲線的行進方向。我們首先采用一種簡單的方法，將狀態描述符hsj構造為s和鄰居sj的直接拼接。然而，這種幼稚的方法很容易導致圓圈，因為等式3在每個點的相同輸入總是有相同的輸出。循環是具有重復s的c = {s1,··· ,sl}，它攜帶冗余和有限的信息，因此應該避免。圖4顯示了四種可能的圓圈，在KNN計算過程中，通過排除關鍵點本身，可以很容易地避免自身構成的圓圈。為了避免其他圓圈，簡單的狀態描述符形式是不夠的。
動態動量
避免圓圈的關鍵在於考慮當前曲線進度對狀態描述符進行動態編碼。我們在步驟i中維護曲線描述符ri ∈ R||s||，該描述符對曲線的前綴進行編碼。現在，關鍵點si的每個鄰居的狀態描述符hsj變為sj i和ri的串聯。
受[8]的啟發，我們按照動量范式更新ri。 但是，我們發現在最終結果方面設置固定的動量系數是有限的。我們提出曲線的前綴r可以通過動態動量變體更好地編碼，例如：
其中[]表示拼接。圖3底部說明了動態動量范例。
交叉抑制
盡管動態動量策略避免了圓圈，但是曲線可能仍會遇到交叉現象。與圓圈不同，少量的交叉可能暗示有用的模式，因此不應完全避免。 但是，當發生大量交叉時，將重復包含同一節點，這會損害曲線表示。因此，我們建議通過研究曲線的行進方向來抑制交叉。
我們首先在步驟i處構造一個支持向量ci=si-ri-1表示電流曲線的大致方向。隨后，對於曲線頭si的每個查詢鄰居，我們將候選向量計算為qi=sij-si， c與q之間的角度Θ表示曲線是直線還是轉彎。我們通過縮小具有較大值（即可能會掉頭並引起潛在交叉）的αj來抑制交叉。
具體來說，我們通過余弦相似度確定c與q之間的角度Θ，並且每個向量對的測量值嚴格落在[-1，1]。接近-1的值表示兩個向量在相反的方向（應被抑制），而1表示它們在相同的方向（不應被抑制）。 考慮到潛在空間中存在邊界，如果不轉彎就無法永遠直線彎曲。 因此，我們將公差閾值角度設置為θ¯，只有夾角大於θ¯ 需要抑制。根據上述直覺，然后通過將余弦相似度得分移動並裁剪為[0，1]來構造交叉抑制乘法器dj。 通過用dj縮放候選的logit αj可以抑制潛在的交叉。圖3底部概述了交叉抑制策略。
3.3 曲線聚合和CurveNet
如第3.1節所述，曲線聚合的目的是豐富相關編碼的信道內特征變化φ，最終為g提供了更好的描述。為了簡單起見，我們將特征通道的數量定義為C，點的數量定義為P，並將一個基本的注意力池化操作符[6]定義為AP。在AP中，input features ∈ RC×∗以自注意力機制的方式進行衡量，並沿着∗ 維度求和，導致RC×1。
給定分組曲線C ={c1,··· ,cn} ∈RC×n×l，為了聚集曲線中的特征，我們考慮了曲線之間的相互關系和每條曲線內部的關系。我們首先學習曲線間特征向量finter ∈ RC×l和曲線內特征向量fintra ∈ RC×n，通過沿不同軸在C上應用AP。點特征F與finter和fintra一起被饋送到三個單獨的瓶頸mlp以減少特征維數。我們分別用降維的finter和fintra在降維的F上應用矩陣乘法來學習相應的曲線點映射。使用Softmax函數將映射轉換為分數。在另一個分支中，用兩個額外的mlp進一步變換降維后的fintra和finter，然后通過矩陣乘法分別與計算出的映射分數融合。上述過程最終得到兩個細粒度特征向量fintra0 和 finter0，其形狀為RC×P。我們沿着特征軸將fintra0 和 finter0連接起來，並饋入最終MLP。曲線聚合的輸出是原始輸入的殘差加法。
我們將曲線分組（CG）塊和曲線聚集（CA）塊嵌入到曲線干預卷積（CIC）塊中。在每個CIC塊中，曲線首先分組（第3.2節），然后聚合到所有點特征（第3.3節）。我們將8個CIC塊堆疊在一起，構建一個ResNet[4]風格的網絡，稱為CurveNet。我們的CurveNet最初通過局部點特征聚合（LPFA）塊學習輸入點坐標的相對局部編碼，將相對點之差投影到更高的維度。CurveNet最終通過任務指定頭（TSH）對不同的點雲處理任務進行預測。對於分類任務，首先將提取的點特征集合起來，然后傳遞到兩個全連接層中。對於分割任務，我們使用了一個注意力U-Net[24]風格的解碼器，它連接了來自編碼器的注意力跳躍連接。圖5給出了CurveNet的概述。網絡結構和構建塊細節見補充材料。
4、實驗
我們目前的實驗結果為我們的點雲對象分析方法的目標分類，形狀部件分割和法向量估計任務。
4.1 應用細節
在所有實驗中，在最后的線性層中采用了dropout[31]，概率為0.5[35]。我們在主干子網中使用LeakyReLU作為激活函數，在任務特定的頭中使用ReLU。 θ¯設置為90度。為了消除隨機性的影響，在所有實驗中都固定了隨機種子，這些實驗是在PyTorch框架中實現的[25]。
對於分類任務，我們使用動量為0.9的SGD作為優化器，並將KNN中的鄰居數設置為20。對於分割任務，根據不同的半徑動態設置KNN鄰域數，不超過32個。在上采樣期間，點特征的插值類似於[26]。通過交叉熵損失使預測值與地面真值之間的距離最小化。
4.2 基准
物體分類 ModelNet 10/40數據集[38]是對象形狀分類基准中最常用的數據集，用於收集各種對象的網格CAD模型。ModelNet10數據集由分布在10個不同類別中的4899個單獨模型組成。我們按照[18]中相同的模式分割訓練和測試樣本。在一個更大的同構數據集中，ModelNet40由12311個模型組成，這些模型分為40個類別。在這兩個數據集中，我們只使用1024個均勻采樣點的坐標作為網絡輸入。在輸入網絡之前，這些點被標准化為單位球體。首先在采樣點上乘以[0.66，1.5]范圍內的隨機縮放倍數。然后，通過[-0.2,0.2]內的隨機位移沿三個方向平移每個點。縮放和轉換設置與[11,19]中使用的設置一致。我們訓練了200個時期的模型，從學習率為0.1開始，在200個epochs內cosineannealling scheduled為0.001。批大小設置為32用於訓練，16用於驗證。
表1報告了我們的CurveNet和最新方法之間的比較結果。在大規模ModelNet40數據集上，我們的方法僅使用1024個均勻采樣點，在沒有投票的情況下達到了93.8%的最新結果[19]，在平均10個預測投票的情況下達到了94.2%。在ModelNet10子集上，我們也獲得了96.3%的結果，這是所有具有相同訓練數據的方法中第二好的結果。在圖6中，我們可視化了局部聚集的特征、聚集的長距離特征和一些隨機選擇的曲線。曲線能夠覆蓋長距離語義，從而在很大程度上帶來了通道的多樣性。
物體部件分割
我們在shapenet零件數據集[45]上驗證了我們的方法，用於三維形狀零件分割任務。該數據集收集了16個類別的16881個形狀模型。數據集中的大多數對象都標記了不到6個部分，結果總共有50個不同的部分。我們的訓練和測試分割方案遵循[26，28]，這樣12137個單獨的模型被用作訓練樣本，而其余的被用作驗證和測試。從每個模型中統一抽取2048個點作為我們網絡的輸入。我們訓練了150個epochs的模型，批次大小為32，從學習率為0.05開始，在140和180個階段衰減為0.1。動量衰減和重量衰減分別設置為0.9和0.0001。我們在CurveNet的最后一個線性層之前插入了一個簡單的SE[5]模塊。與[19，1]相同，還采用了一個熱類標簽向量和全局特征向量。
各實例的平均交並比（mIoU）結果見表2，各類別的mIoU分數見補充材料。我們的方法達到了86.6%的最高水平，超過了現有的所有方法。在不分組任何曲線的情況下，我們的基本結構達到85.9%，證明了在點雲形狀分割任務中引入曲線的有效性。此外，我們定性地觀察了四個案例以及圖7中的學習曲線。分組曲線能夠探索短距離和長距離形狀關系。補充材料中報告並分析了模型復雜性。
物體法向量估計 物體表面法線是三維建模和渲染的關鍵。與逐部分理解對象不同，估計法線需要全面了解整個對象的形狀和幾何體。我們使用ModelNet40數據集驗證了我們的CurveNet在估計法線上的有效性，其中點雲中的每個點都用其三個方向的法線進行了標記。CurveNet結構的構造與分割任務中使用的結構類似，不包括一個熱類標簽向量和全局特征向量。模型的初始學習率為0.05，余弦為0.0005。
表3顯示了CurveNet和最新方法的平均余弦距離誤差比較。在沒有任何曲線的情況下，我們的基本CurveNet架構實現了0.16的平均誤差，接近於[19，3]。當涉及曲線時，我們的全曲線網絡表現出了優異的性能，平均誤差為0.11，為法向量的估計任務設置了一個新的基准。
4.3 消融研究
我們在ModelNet40數據集上進行了大量的實驗，對本文提出的方法進行了全面的研究。除非明確指定，否則實現細節仍然與基准部分中描述的細節相同。所有消融研究均未經投票機制下進行了實驗。
成分研究 通過簡單地從完整的CurveNet體系結構中移除或替換它們來檢查CurveNet的單個組件的影響。我們進行了實驗，將LPFA替換為等式1中的公共局部特征聚合，禁用動態動量和交叉抑制策略，並將建議的CA算子替換為普通非局部模塊（即內部關系和內部關系不分離）。結果見表4。
我們觀察到，雖然單獨使用LPFA不能帶來顯著的性能改進（模型A和B），但是在曲線的干預下，LPFA的存在能夠在分類結果（模型F和G）方面產生巨大的差異。如模型C和D所示，所提出的動態動量和交叉抑制策略在經驗上是有效的。此外，從模型E中，我們發現所提出的曲線聚集算子在曲線網絡中起着最重要的作用，當通過非局部模式聚集分組的曲線特征時，准確率下降了0.7%，而對推理延遲沒有好處。
淺層vs深層 在3.1節中，我們認為局部聚集后的淺層特征缺乏單通道多樣性，並且曲線特征在網絡的淺層比深層更理想。我們在曲線網絡的不同分組上進行了不同數量和長度的聚集曲線的實驗，結果顯示在補充材料中（圖1）。淺層（1/2組）的聚集曲線比深層（3/4組）的結果更好，這從經驗上證明了我們的觀點。
曲線數量與曲線長度 曲線數量n和長度l是直接決定網絡性能的兩個超參數。短曲線不能捕捉長距離模式，而長曲線需要更好的引導，可能包含冗余信息。為了研究曲線數量與曲線長度的關系，我們進行了固定曲線總點數的實驗。補充資料右下方的圖1顯示，雖然長曲線（長度50）能夠獲得最佳結果，但隨着曲線的進一步延伸，網絡性能會下降。聚合較長的曲線也是計算效率低下的，因為節點的過渡無法並行計算。為了驗證曲線是否被困在局部區域，我們在圖8中給出了曲線的每個節點到起點/終點的平均歐氏距離。這些曲線能夠跳出最大局部KNN范圍來探索更大范圍的關系。
稀疏輸入點和噪聲測試點 曲線分組對點雲稀疏性和噪聲敏感。我們進行了廣泛的實驗：（1）訓練和測試稀疏的輸入點和（2）訓練1024點原始坐標和測試噪聲點[43]。如圖9所示，我們的CurveNet在所有關於不同輸入點數的實驗中都取得了最好的結果。對於噪聲測試，我們在第一個LPFA塊之后添加一個額外的max池層。我們的CurveNet在所有實驗中都優於[30，26]，並達到了[43]的標准結果，證明了它對噪聲的魯棒性。
5、總結
本文提出了一種用於點雲形狀分析的長距離特征融合方法，即曲線融合方法。我們首先討論了現有局部特征聚合范式的潛在缺陷，並提出了點雲幾何聚合的必要性。然后，我們在兩個連續的步驟中提出了我們的方法：在點雲中對曲線進行分組的規則，以及分組曲線特征與提取的點特征的集成。在此過程中，確定並解決了潛在的問題。我們的方法在多個點雲目標分析任務中取得了最新的成果。