點雲配准相關


導師給了方向,所以最近在看點雲配准相關論文“

點雲配准是計算機視覺的一個分支方向:

一、點雲配准基礎知識

1.入門知識及背景

1)點雲概念

  點雲是在同一空間參考系下表達目標空間分布和目標表面特性的海量點集合,在獲取物體表面每個采樣點的空間坐標后,得到的是點的集合,稱之為“點雲”(Point Cloud)。

2)點雲圖像是最基礎也是最常見的三維圖像。

  那什么是三維圖像呢?三維圖像是一種特殊的圖像信息表達形式。相比較於常見的二維圖像,其最大的特征是表達了空間中三個維度(長度寬度和深度)的數據。

3)三維圖像的表現形式

  深度圖(以灰度表達物體與相機的距離),幾何模型(由CAD軟件建立),點雲模型(所有逆向工程設備都將物體采樣成點雲)。

4)點雲根據測量原理主要分為兩種

  根據激光測量原理得到的點雲,包括三維坐標(XYZ)和激光反射強度(Intensity)。強度信息與目標的表面材質、粗糙度、入射角方向,以及儀器的發射能量,激光波長有關。

  根據攝影測量原理得到的點雲,包括三維坐標(XYZ)和顏色信息(RGB)。

  當然也有把激光和攝影相結合在一起的(多傳感器融合技術),這種結合激光測量和攝影測量原理得到點雲,包括三維坐標(XYZ)、激光反射強度(Intensity)和顏色信息(RGB)。

5)點雲的獲取設備

  RGBD設備(深度攝像機)是可以獲取點雲的設備。比如PrimeSense公司的PrimeSensor、微軟的Kinect、華碩的XTionPRO。

6)點雲的屬性

  空間分辨率、點位精度、表面法向量等。

7)點雲存儲格式

  .pts; .asc ; *.dat; .stl ; [1] .imw;.xyz;.las。

8)點雲的數據類型

1)pcl::PointCloudpcl::PointXYZ

    PointXYZ 成員:float x,y,z;表示了xyz3D信息,可以通過points[i].data[0]或points[i].x訪問點X的坐標值

2)pcl::PointCloudpcl::PointXYZI

    PointXYZI成員:float x, y, z, intensity; 表示XYZ信息加上強度信息的類型。

3)pcl::PointCloudpcl::PointXYZRGB

    PointXYZRGB 成員:float x,y,z,rgb; 表示XYZ信息加上RGB信息,RGB存儲為一個float。

4)pcl::PointCloudpcl::PointXYZRGBA

    PointXYZRGBA 成員:float x , y, z; uint32_t rgba; 表示XYZ信息加上RGBA信息,RGBA用32bit的int型存儲的。

5) PointXY 成員:float x,y;簡單的二維x-y點結構

6)Normal結構體:

    表示給定點所在樣本曲面上的法線方向,以及對應曲率的測量值,用第四個元素來占位,兼容SSE和高效計算

9)點雲處理的三個層次

  一般將圖像處理分為三個層次,低層次包括圖像強化,濾波,關鍵點/邊緣檢測等基本操作。中層次包括連通域標記(label),圖像分割等操作。高層次包括物體識別,場景分析等操作。工程中的任務往往需要用到多個層次的圖像處理手段。

  低層次處理方法

    ①濾波方法:雙邊濾波、高斯濾波、條件濾波、直通濾波、隨機采樣一致性濾波。②關鍵點:ISS3D、Harris3D、NARF,SIFT3D

  中層次處理方法

    ①特征描述:法線和曲率的計算、特征值分析、SHOT、PFH、FPFH、3D Shape Context、Spin Image

    ②分割與分類:

      分割:區域生長、Ransac線面提取、全局優化平面提取

          K-Means、Normalize Cut(Context based)

          3D Hough Transform(線、面提取)、連通分析

      分類:基於點的分類,基於分割的分類,基於深度學習的分類(PointNet,OctNet)

  高層次處理方法

    ①配准

      點雲配准分為粗配准(Coarse Registration)和精配准(Fine Registration)兩個階段:

        精配准的目的是在粗配准的基礎上讓點雲之間的空間位置差別最小化。應用最為廣泛的精配准算法應該是ICP以及ICP的各種變種(穩健ICP、point to plane ICP、Point to line ICP、MBICP、GICP、NICP)。

         粗配准是指在點雲相對位姿完全未知的情況下對點雲進行配准,可以為精配准提供良好的初始值。當前較為普遍的點雲自動粗配准算法包括基於窮舉搜索的配准算法和基於特征匹配的配准算法。

      基於窮舉搜索的配准算法:

        遍歷整個變換空間以選取使誤差函數最小化的變換關系或者列舉出使最多點對滿足的變換關系。如RANSAC配准算法、四點一致集配准算法(4-Point Congruent Set, 4PCS)、Super4PCS算法等……

      基於特征匹配的配准算法:

        通過被測物體本身所具備的形態特性構建點雲間的匹配對應,然后采用相關算法對變換關系進行估計。如基於點FPFH特征的SAC-IA、FGR等算法、基於點SHOT特征的AO算法以及基於線特征的ICL等…

    ②SLAM圖優化

        Ceres(Google的最小二乘優化庫,很強大), g2o、LUM、ELCH、Toro、SPA

        SLAM方法:ICP、MBICP、IDC、likehood Field、NDT

    ③三維重建

        泊松重建、 Delaunay triangulations、表面重建,人體重建,建築物重建,樹木重建。結構化重建:不是簡單的構建一個Mesh網格,而是為場景進行分割,為場景結構賦予語義信息。場景結構有層次之分,在幾何層次就是點線面。實時重建:重建植被或者農作物的   4D(3D+時間)生長態勢;人體姿勢識別;表情識別;

    ④點雲數據管理

        點雲壓縮,點雲索引(KD、Octree),點雲LOD(金字塔),海量點雲的渲染。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM