點雲神經網絡:point_net(一)


三維數據的表述形式一般分為下列四種:

(1)點雲:由N NN個D DD維的點組成,當這個D = 3 D=3D=3的時候一般代表着( x , y , z ) (x,y,z)(x,y,z)的坐標,當然也可以包括一些法向量、強度等別的特征。這是今天主要講述的數據類型。
(2)Mesh:由三角面片和正方形面片組成。
(3)體素:由三維柵格將物體用0和1表征。
(4)多角度的RGB圖像或者RGB-D圖像。
點雲優勢:

(1)點雲更接近於設備的原始表征(即雷達掃描物體直接產生點雲)。
(2)點雲的表達方式更加簡單,一個物體僅用一個N × D 的矩陣表示。
pointnet出現之前,點雲在深度學習里的應用:

(1)基於3DCNN的體素模型:先將點雲映射到體素空間上,在通過3DCNN進行分類或者分割。但是缺點是計算量受限制,目前最好的設備也大致只能處理32 × 32 × 32 32\times32\times3232×32×32的體素;另外由於體素網格的立方體性質,點雲表面很多特征都沒有辦法被表述出來,因此模型效果差。
(2)將點雲映射到2D空間中利用CNN分類
(3)利用傳統的人工點雲特征分類,例如:
         normal 法向量
         intensity 激光雷達的采樣的時候一種特性強度信息的獲取是激光掃描儀接受裝置采集到的回波強度,此強度信息與目標 的表面材質、粗糙度、入射角方向,以及儀器的發射能量,激光波長有關
         local density 局部稠密度
         local curvature 局部曲率
         linearity, planarity and scattering propesed by Dimensionality based scale selection in 3D lidar point clouds
         verticality feature proposed by Weakly supervised segmentation-aided classification of urban scenes from 3d LiDAR point clouds
1.POINTNET

點雲所具有的兩個非常重要的特性:

(1)permutation invariance 置換不變性

point cloud is a set of unordered points.點雲是無需點的集合

(2)transformation invariance

point cloud rotations should not alter classification results.點雲旋轉不改變分類結果

2. 基於點雲的置換不變性

簡單來說,置換不變性就是點的排序不影響物體的性質

因此針對點雲的置換不變性,其設計的網絡必須是一個對稱的函數。

最簡單的是max函數,即是一個對稱函數:

[1,2,3]

[1,3,2]=====>max()=====>[2,3,3]

[2,2,2]

改變上述三個坐標的排序,並不影響最終的輸出結果。

但是這樣做,每個點損失的特征太多了,輸出的全局特征僅僅只是三個坐標軸上最大的那個特征,因此我們不妨先將點雲上的每個點映射到一個高維的空間,目的是使得再次做max操作,損失的信息不會那么多。

此時我們發現,當我們將點雲的每個點先映射到一個冗余的高維空間后,再去進行max的對稱函數操作,損失的特征就沒那么多了。由此,就可以設計出這PointNet的雛形,稱之為PointNet(vanilla)。

3.基於點雲的旋轉不變性

因此對於普通的PointNet(vanilla),如果先后輸入同一個但是經過不同旋轉角度的物體,它可能不能很好地將其識別出來。在論文中的方法是新引入了一個T-Net網絡去學習點雲的旋轉,將物體校准,剩下來的PointNet(vanilla)只需要對校准后的物體進行分類或者分割即可。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM