0 引言
問題背景:大量的工程實踐表明,點雲匹配關系的求解是一個非常復雜而困難的問題。其核心點在於找到一種映射方法,該方法將某個點映射到一個有限m維的特征向量,
A = {a1,a2,a3,…,am}. 基於某種距離度量的方法,比如歐式距離法,計算A與任意某B的距離值距離值為distance = |A-B|.若A與B的距離值與兩點在幾何及
拓撲上的相似性呈正相關,該相關系數越接近1(或者-1,效果相似),則該映射方法和距離函數的組合描述效果越好。現在需要找到一種合適的映射方法,對這種方法
的要求如下:
1、這種方法能夠實現點雲與CAD模型的准確匹配,誤差在1mm以內為宜;
2、點雲與CAD模型的尺度在200mm3 以內,小尺度點雲;
3、點雲與CAD模型文件的完整度高,數據可匹配性好,基本不存在遮擋等情況;
1 問題解決流程
(1)制作數據集,CAD轉obj,點雲轉obj,讀入之后統一轉為pcd標准格式進行處理;
(2)測試各個算法的性能,把算法的參數寫成可調的參數文件,找到一個合理的調試區間;
(3)給出算法的評價標准,運行測試,得出測試結果,排序;
2 算法流程
(1)uniform-sampling,通常采用點雲下采樣技術降低點雲密度
(2)點雲特征描述子提取,通常采用PCL中的傳統描述子(如FPFH等),或者深度學習描述子
(3)基於(2)中解出的描述子求解點雲的匹配關系,通常采用kdtree + knn即可
(4)RANSAC排除錯誤匹配得到粗配准的結果
3 深度學習描述子
(1)3DMatch
https://github.com/andyzeng/3dmatch-toolbox
摘要:在有噪聲、低分辨率以及數據不完整的情況下,依靠真實世界的深度圖求解局部幾何特征是一項有挑戰性的工作。這些困難限制了當前最先進的基於基於特性的直方圖的方法的性能。作者提出了3DMatch,該模型以大數據驅動,通過學習局部體積描述子,建立部分3D數據之間的匹配關系(correspondences). 為了積累模型訓練數據,提出了一種無監督的特征學習方法,該方法利用了已知的RGB-D重建場景中的數百萬計的匹配關系。 試驗表明,我們的描述子不僅能夠在新場景中匹配局部幾何特征,也能推廣到不同的任務和不同的尺度下。(如亞馬遜抓取任務中的實施物體模型配對,網格匹配等)解雇顯示3DMatch穩定地表現出相對其他當前最先進方法的優勢。
1、維數:512
2、結構
3、訓練集:62個RGB-D場景重建數據集中的800萬對點集,訓練集具體的制作方式不明。
(2)3DFeat-Net
https://github.com/yewzijian/3DFeatNet
摘要:作者在本文中提出了一種新的網絡,將其命名為3DFeat-Net,該網絡能夠在弱監督條件下,同時學習三維特征檢測器和描述符,並將其應用於點雲配准任務中。與許多現有的研究不同,該方法不需要對匹配點集群進行手工注釋。取而代之的是,該方法利用對齊和注意力機制從GPS/INS標記的3D點雲中學習特征對應,而不需要顯式地指定它們。實驗中,創建了訓練數據集和基准戶外雷達數據集,結果表明3DFeat-Net 在重力對齊數據上表現出了當前最佳的性能。
1、256維
2、結構
3、訓練集/測試集:21875/ 828
(3)Deep Neural Network Auto-Encoder
https://github.com/gilbaz/LORAX
摘要:提出了一種解決大規模點雲與相近掃描點雲配准問題的算法,該算法在對兩個點雲的初始坐標系位置信息完全不知情的情況下,提供了一種定位方案。該算法命名為LORAX,首先提取一批超級點(super-points),然后用一個低維的描述子描述其幾何結構。這些描述子被用來推斷(infer)粗匹配關系,作為精匹配的前置步驟。采用重疊球覆蓋點雲選取超級點,並濾除其中低質量或非凸的點。描述子采用當前最先進的無監督機器學習方法,利用了基於自動編碼器的深度神經網絡技術。這種新的網絡結構提供了一種對手工設計描述子求解粗匹配關系的強大替代方法。利用超級點而非關鍵點使得幾何數據能夠被更好地挖掘出來,用於尋找正確的轉換關系。編碼局部3D幾何結構采用一種深度神經網絡自編碼器,而非其他計算機視覺應用中沿用的傳統描述子,使得結果更加出色。該算法在一些富有挑戰性的數據集上進行了測試,在同以前的算法對比時,在應對密度變化、噪聲和缺失數據時,展現出了一定的優勢。
1、結構
(4)CPD(Coherent Point Drift,,相干點漂移)
摘要:CPD方法利用了點檢測算法/數據特性(data nature)中的先驗信息,這些信息可通過限制可能的匹配結果極大提高配准的效果。論文探索了利用先驗知識對點雲進行聚類的方法,這些先驗知識來自於對點雲的預分割。我們擴展了現有的概率框架以適應兩個高斯混合模型和導出閉合形式解決方案,用於EM算法的最大化步驟。這使得算法能夠改善配准精度的同時,其性能幾乎沒有任何損失。算法應用於醫學圖像處理任務(尤其是心臟建模任務)中,取得了很好的效果。
4 端到端的點雲學習框架介紹
目前,想找到一款可以直接對點雲進行處理的模型框架執行配准任務顯得有點困難,至少從我在github上搜索 “registration point cloud”主題來看,這一企圖落了空。我覺得必須拓寬研究思路,以“端到端”為基本標准,搜索一切可以找到的框架,並將其中的點雲描述子部分分割出來為我所用。
(1)pointnet
pointnet是斯坦福大學提出來的一個框架,該框架最大的特點是直接對點雲進行處理。下面的鏈接對該框架進行了比較詳細的介紹。
https://www.cnblogs.com/Libo-Master/p/9759130.html
(2)pointcnn
pointcnn是山東大學提出來的一個框架,該框架提出了一種數學變換 x變換,可以將