作者：小毛Date：2020-05-07來源： 點雲局部特征描述綜述
1.引言
在計算機視覺發展初期，機器對客觀世界的視覺感知主要依賴相機捕獲的二維圖像或圖像序列。然而世界在歐氏空間內是三維的，圖像因為僅僅捕捉了世界在某個視角下投影的信息將在對物體的尺度和幾何屬性表征上產生不確定性。相比之下，點雲（Point cloud）作為一種最原始的三維數據表征能夠精准地反映物體的真實尺寸和形狀結構，逐漸成為了機器視覺感知所依賴的另一種數據形式。
圖1 典型的主動式和被動式點雲傳感器。（a）Velodyne 激光雷達及其掃描的點雲數據，（b）ZED 立體視覺相機及其捕獲的點雲數據。
點雲是一種由若干離散、無序、無拓撲結構的三維點組成的集合，通常是三維傳感系統所獲取數據的初始形式，具有抗光照和尺度變化等優點。當前主流的點雲數據傳感器分為兩類：主動式和被動式。主動式傳感器又可分為基於 TOF（Time of Flight）系統和三角測量系統兩種，其中 TOF 系統通過測量所發射信號到達物體表面和返回接收器之間的時間間隔來確定傳感器到物體表面的真實距離，而三角測量系統則通過兩個傳感器在不同地點對物體同一點之間的測量關系計算點的空間位置。被動式傳感器依賴圖像對或圖像序列並根據相機參數來從二維圖像數據中復原出三維數據。典型的主動式傳感器包括 LiDAR（Light Detection And Ranging）、TOF 相機、結構光傳感器等；典型的被動式傳感器包括立體相機、SFM（structure from motion）系統、SFS（shape from shading）系統等。圖1展示了 Velodyne 激光雷達和 ZED 雙目相機以及它們捕獲的點雲數據。近年來，諸如微軟 Kinect、谷歌 Tango 平板、英特爾 Real Sense 等廉價傳感器的涌現使得點雲數據的獲取和圖像一樣便捷，進一步推動了三維計算機視覺技術的發展。
圖2 三維點雲局部特征描述與匹配示意圖
和圖像感知類似，對於點雲數據的感知任務包括檢測、識別、分類、分割、匹配等，本專欄致力於研究點雲視覺任務中一個基礎而關鍵的問題，即點雲之間點對點對應關系的建立。該問題也被稱作三維點匹配問題，在計算機視覺、計算機圖形學、遙感、機器人等領域均有着廣泛的應用。以源點雲和目標點雲來命名兩組待匹配的點雲序列，當兩組點雲之間發生了旋轉、平移等剛性變換時，稱之為剛性點雲匹配數據；當兩組點雲之間發生了伸縮、仿射、變形等非剛性變換時，則稱之為非剛性點雲匹配數據。本文研究的數據對象為剛性點雲匹配數據，通常為傳感器在不同視角或不同場景下捕獲的剛體目標點雲數據序列。對於剛性點雲匹配數據之間的點對應關系建立通常包含兩步：局部幾何特征描述和特征匹配。如圖2所示，局部幾何特征描述的目的是用一個特征向量來表征隱含在局部曲面內的空間信息和幾何信息；特征匹配的目的是通過度量兩組點雲特征集中任意兩個特征的相似性確定初始匹配並篩選出正確的匹配子集。當點雲數據體量較大時，在初始點雲中檢測若干稀疏且具有區分能力的關鍵點是一種常用的預處理方案。在二十一世紀初期，曾有一系列點雲關鍵點檢測子被陸續提出，例如三維 Harris 檢測子（Harris 3D，H3D）和本征形狀簽名（intrinsic shape signature，ISS）。但最近關於點雲關鍵點檢測子評估研究指出現有的檢測子在現實應用場景數據中可重復性低且較為耗時。另外，取代傳統關鍵點檢測子的均勻采樣和隨機采樣方法在目標識別以及點雲配准應用中均被證明為一種快速有效的關鍵點選取方式。因此，當前的研究熱點主要集中在點雲局部特征描述和特征匹配兩方面。
對於點雲局部特征描述子的質量評估主要體現在以下五個方面：
• 剛體變換不變性—當目標或者傳感器進行了旋轉和平移等剛體運動時，在對應點提取的局部特征應當具有不變性；
• 描述性—因為點和點之間是一一對應的，局部特征需要具有一定的鑒別能力來區分相同目標之內或不同目標之間的局部幾何模式；
• 魯棒性—局部特征需要對由於自遮擋、遮擋、嘈雜、測量距離變化等引起的孔洞、噪聲、數據分辨率變化等干擾具有魯棒性；
• 時效性—機器人等實時性高的應用平台對於局部特征計算的速度有着嚴格的要求；
• 緊湊性—局部特征的緊湊性取決於其占用的內存資源，主要受特征維度和特征數據類型影響，緊湊性高的局部特征有着維度低、二值化等特點。
然而，現有的點雲局部特征仍難以充分滿足上述需求，而且對於數據模態和應用場景的變化較為敏感。對於特征匹配的質量評估一方面體現在抗離群點（錯誤匹配）的干擾能力，另一方面體現在匹配的效率。評估研究表明大部分現有特征匹配算法存在耗時長、對高離群點率敏感的缺陷。
2.研究意義
首先從工程應用的角度來例證本研究所能帶來的社會價值，然后分析當前點雲局部特征描述與匹配領域存在的難點與挑戰來表明理論研究意義。點雲局部特征描述與匹配在計算機視覺、計算機圖形學、機器人學、遙感等領域具有重要的實際應用價值，對應的應用場景通常取決於兩組點雲序列的分別表征的物理含義，可分為“不同視角”、“不同時刻”、“模型-模型”以及“模型-場景”四類。照此分類，我們分別例舉點雲局部特征描述與匹配在如下實際場景中的應用：
•不同視角：此類數據利用點雲之間的點匹配關系旨在估算不同視角點雲序列之間的空間變換關系，從而完成姿態歸一化來得到更大視場范圍內的點雲或進行三維重建。在計算機視覺領域的應用包括三維目標重建、三維場景重建以及三維數據融合。在遙感領域的應用包括大場景遙感點雲拼接以及地形場景重建。在文化遺產保護領域的應用包括基於多目點雲拼接重建的古文物數字模型庫構建，在我國該技術已被應用於故宮數字博物館的建立。
•不同時刻：對於該類數據，點雲特征匹配可以解算物體在給定時間內所產生的三維旋轉和空間位移變化，從而得到物體在三維空間中的運動信息包括速度、角速度、動量等並能跟蹤運動物體。在計算機視覺領域的典型應用為三維運動物體的姿態跟蹤。在航空航天領域的應用包括太空非合作目標的運動位姿解算等。
•模型-模型：此類數據主要通過建立兩個屬於同一類別模型之間的特征對應關系來衡量模型之間的相似性。在計算機視覺中的應用包括三維人臉識別和三維物體分類。
•模型-場景：該類數據中模型是指感興趣目標的三維模型，場景數據則為傳感器在特定視角捕獲的、包含感興趣目標的場景數據（通常稱為 2.5D 數據），這類數據廣泛應用於嘈雜和遮擋環境中的三維目標識別。在計算機視覺中的主要應用為三維目標檢測與識別。在機器人領域的主要應用包括物體的抓取及擺放姿態的估計。在國防領域的應用包括空對地的精准目標打擊等。
圖3 點雲局部特征描述與匹配面臨的四類主要挑戰
點雲局部特征描述與匹配的研究已歷經三十余年，盡管取得了一定的進展，例如剛體變換不變性問題的解決，但是仍然面臨着如下挑戰（圖 3）：
•噪聲：由於環境的干擾和設備的缺陷等因素，初始捕獲的點雲數據通常含有大量不同尺度的噪聲，這種干擾在廉價傳感器例如微軟Kinect 獲取的數據中尤為明顯。噪聲的存在將擾亂點雲的局部幾何結構，干擾特征的精准表達。
•數據分辨率變化：盡管點雲數據具有尺度不變性，但是相同物體在不同距離被捕獲的點雲將呈現出不同的分辨率。這里點雲的分辨率為一組點雲中任意兩個相鄰點之間的平均距離。不同分辨率的點雲對於物體局部形狀信息的表達將產生差異，例如低分辨率的點雲難以表征物體微小的局部結構，從而進一步增加了特征描述的困難。
•孔洞：物體豐富的形狀結構也會造成某個視角下捕獲的點雲存在自遮擋現象，進一步形成了孔洞；另外某些物體的材質（例如玻璃）也會導致點雲數據出現數據缺失。分布在孔洞邊緣的局部區域因為數據不完整的問題，將難以對局部曲面原本具有的幾何結構進行正確表征。即使在理想情況下，該曲面與對應的匹配曲面之間的相似度也將大大降低，使得問題更具挑戰性。
•重復模式：現實世界中有許多物體具有軸對稱性，這種對稱性將造成重復模式的存在。由於目標的局部模式是一一對應的，這些重復模式將導致特征匹配的二義性。
上述干擾的存在一方面影響着點雲局部特征的描述性和魯棒性，另一方面將造成初始匹配集中摻雜大量誤匹配而進一步給正確匹配的識別帶來嚴重干擾。最近關於點雲局部特征描述子和特征匹配方法的實驗評估表明現存方法難以充分克服以上干擾。
3.點雲局部特征描述研究現狀
點雲局部特征可按照是否基於局部坐標系來分類。我們首先回顧現有的局部坐標系方法，然后簡要介紹當前點雲局部特征描述子的研究進展。
局部坐標系
局部坐標系（local reference frame，LRF）可以分為基於協方差分析和基於點空間分布兩類。對於第一類，Novatnack等人將關鍵點的法向量定義為局部坐標系的z軸，然后為局部鄰域點計算一個協方差矩陣；最大特征值對應的特征向量在z軸的切平面上的投影向量經過歸一化后即為x軸；最后，y軸為x軸和z軸的交叉乘積。Mian等人將協方差矩陣對應的三個特征向量定義為局部坐標系的三個軸。這些基於協方差分析的局部坐標系計算方法並沒有解決參考軸符號二義性的問題。后來Tombari等人首次利用局部幾何特性解決了參考軸符號二義性的問題並提出了一種加權協方差分析方法；該方法被證明具有對噪聲魯棒的特性，然而其主要缺陷為對數據分辨率變化敏感。Guo等人提出首先對局部曲面進行三角化然后為每一個三角面片計算協方差矩陣，其中每個三角面片對應的協方差矩陣具有兩個權重；與其它基於協方差分析的方法不同，該方法首次提出對三角面片進行協方差分析並大大地提升了局部坐標系的魯棒性。
對於第二類方法，Chua和Javis以關鍵點為球心放置一個球體，得到球體與曲面的交叉輪廓，輪廓所有點中到關鍵點法向量切平面投影距離最大的點被用來計算x軸；z軸為關鍵點的法向量，y軸由其余兩軸叉乘所得。Petrelli等人為了達到抗遮擋的目的，提出采用鄰域點集內一小部分點來計算法向量並作為z軸；鄰域邊緣區域所有點中對應的法向量與關鍵點法向量偏移角最大的點被用來計算x軸，他們后續提出利用局部深度來代替法向量偏移角作為選擇依據來提升局部坐標系的可重復性。然而，大尺度的噪聲對於x軸的計算仍將產生明顯的干擾。
局部特征
在現有的眾多點雲局部特征描述子中，部分是針對非剛性物體的，被稱為本征局部描述子，具有抗非剛性變化的能力。在該類描述子中，Sun等人利用在曲面進行拉普拉斯-貝爾特拉米運算和其衍生的空間嵌入計算來獲得熱核簽名描述子（heat kernel signature，HKS）；HKS對等容等距變化具有魯棒性而且有一定的抗非等容等距變換能力。隨后，Aubry等人憑借一種量子力學的方式來描述曲面的多尺度細節並提出波核簽名描述子（wave kernel signature，WKS），展現出比HKS更強的區分性。除了手工特征，Litman和Bronstein提出一種基於學習的最優譜變換特征（optimal spectral descriptor,OSD），主要通過學習來獲得多種濾波器並在曲面上計算不同頻率的譜特征。Boscaini等人提出各向異性傳播特征（anisotropic diffusion descriptor，ADD），通過任務驅動的學習方式計算了一系列方向性濾波器，解決了諸多應用中存在的各向同性問題。
和主流的局部特征更為接近的是另外一類針對剛性物體的描述子，可以按是否基於局部坐標系LRF划分為兩類。對於非基於LRF的描述子，Johnson和Hebert提出了自旋圖特征（spin image，SI），他們首先將關鍵點的法向量作為參考軸然后將局部鄰域點投影到以水平和垂直投影距離為坐標的二維平面，最后通過二維累加運算的方式得到一張二維灰度圖；SI是被引用次數最多的描述子之一，但是描述能力有限、對數據分辨率變化敏感。Rusu等人提出利用點特征直方圖（point feature histograms，PFH）的方式來編碼局部曲面的形狀信息；PFH鑒別能力很強但是極為耗時。為了解決該問題，Rusu等人后來利用簡化版點特征直方圖（simplified point feature histogram，SPFH）來構造快速點特征直方圖（fast point feature histogram，FPFH），具有快速、鑒別能力強的特點。Albarelli等人提出一種低維曲面哈希的描述子並將其應用於博弈論框架下的曲面匹配問題中；曲面哈希特征主要基於多尺度的局部屬性統計直方圖計算，包括法向量夾角、積分體積以及它們的結合。
對於基於LRF的特征，Stein和Medioni基於關鍵點與測地鄰域點之間的偏移角、扭轉角和曲率關系來設計點雲的局部特征。Frome等人將二維中的形狀上下文特征（shape context，SC）擴展到三維領域並提出三維形狀上下文特征（3D shape context，3DSC）；3DSC首先將局部球域划分為多個子空間並計算每個子空間內的點占比來計算特征描述子。Malassiotis憑借在點雲局部曲面上方的虛擬相機對點雲進行“快照”的方式進行特征表達，這種特征表達首次表明了局部深度這種屬性的強區分性，然而因為其僅獲取了局部曲面單個視角信息的緣故，具有的描述能力仍然有限。Zaharescu等人為每個鄰域點計算了梯度向量並將它們投影在LRF的三個正交平面上；每個平面被划分為四個象限，每個象限對應一個八維特征，最后所有象限內特征的串接形成了名為MeshHOG的描述子。Tombari等人提出了方向直方圖特征（signature of histograms of orientations，SHOT）；SHOT首先對局部球域進行空間划分，然后為每個子空間計算一個反映子空間內點的法向量和關鍵點法向偏移角統計量的特征，最后計算每個子空間對應特征的串接向量；盡管SHOT描述性很強，但是對點密度分辨率的變化敏感。最近，Guo等人首先將局部曲面在LRF中不斷旋轉，並對每一次旋轉后的曲面進行投影來計算一些投影后點密度的統計量，最后將這些統計量串接得到旋轉投影統計量特征（rotational projection statistics，RoPS）；RoPS在多個數據集中取得了當前領先的匹配性能，其不足主要為在對點分布不均的數據描述性差、計算較為耗時。和RoPS的旋轉投影機制類似，Guo等人利用LRF的三個正交軸來計算三個自旋圖特征，得到的三元自旋圖（triple spin images，TriSI）和RoPS相比抗遮擋能力更強，但仍較為耗時。
4.特征匹配研究現狀
特征匹配在二維和三維領域內均得到了廣泛的關注。
二維特征匹配
Leordeanu和Hebert基於高置信度的匹配通常以聚類方式呈現的假設，提出了一種譜分析的方法；其首先為匹配集構建一個圖，每個節點代表一個對點對的匹配，每條邊代表匹配之間的兼容性，從而構建出一個鄰接矩陣並從基於該矩陣對應的特征值發現具有一致性的匹配聚類。Torresani等人通過最小化一個關於匹配相似度和空間兼容性的能量函數來對初始匹配進行排序打分。這兩種方法要求初始匹配集具有較高的內點率。為了解決該問題，Cho和Lee將圖的概率級數與圖匹配相結合，提出了一種漸進匹配的框架。然而，大部分圖匹配的方法可擴展性不強。Lowe設計了一種高效的方式來為匹配的可區分性進行打分，主要基於計算最小與次小特征距離之間的比率；這種方法能有效解決可重復模式造成的匹配二義性問題，但是缺乏對匹配空間一致性信息的利用，得到的匹配正確率較低。
三維特征匹配
三維特征匹配方法中有一部分是直接根據特征相似度或特征比率分數來進行正確匹配篩選。幾何剛性約束被用來檢驗兩匹配之間的空間一致性。對於基於投票機制的方法，Tombari和Stefano提出了三維霍夫變換方法（3D Hough voting，3DHV）；借助於LRF之間的變換，該方法將匹配投影到一個三維空間並通過找到三維空間核密度最大的點來確定一致性匹配集群。Johnson和Hebert設計了結合距離和方向信息的匹配約束項並基於此來尋找滿足該約束項的最大特征匹配聚類，該聚類則被認為是篩選出的正確匹配子集；后來Chen和Bhanu采用了僅包含距離的約束項並表明該改進對於噪聲干擾具有更強的魯棒性。Buch等人將局部約束和全局約束集成到了一個投票的框架下來判定匹配的正確性。
5.點雲配准研究現狀
剛體數據之間的點對應關系最直接的應用為點雲配准，即求解源點雲和目標點雲之間的旋轉和平移信息。Besk和Mckay提出的迭代最近點法（iterativeclosest point，ICP）為點雲配准領域最為經典的算法之一，ICP算法迭代式地尋找兩組點雲之間的對應點集並更新變換矩陣來完成配准；ICP算法是一種局部的算法，在沒有初始化的情況下容易陷入局部最優。現有的全局配准方法主要分為兩類：基於分支定界（branch and bound，BnB）或點對點對應關系。
對於基於BnB的配准方法，Yang等人提出的Go-ICP算法首次完成了ICP框架下的全局最優配准；Go-ICP算法用一個不確定性球來表達幾何邊界，在配准過程中優化和傳統ICP算法一致的距離目標函數並根據幾何邊界推導出最小值的下界；Go-ICP設計了一種由一個外部BnB和一個內部BnB組成的嵌套BnB模式；其中外部BnB在旋轉空間SO(3)中進行搜尋，內部BnB在R3空間內搜尋其對應的最佳平移變換。Campbell和Petersson通過對齊兩組點雲對應的混合高斯模型（Gaussian mixture models，GMM）來達到配准點雲的目的，他們采用了一個和Go-ICP相比更為嚴格的幾何界限，即不確定性球的頂部區域；因為該方法在剛體變換的六維空間進行搜尋，其需要借助於GPU進行加速。Bustos等人采用了類似的幾何邊界但是建立了一種基於一致性集的目標函數；該方法對於最大一致性集上界的評估依賴將不確定球頂部區域從三維到二維平面上的投影。Lian和Zhang等人提出了APM（asymmetric point matching）算法來解決點集配准問題；APM將點集配准問題建模成一個凹二次分配問題並在BnB框架下進行求解。Straub等人提出了一種基於點雲法向量的二階段BnB算法，其將六維剛體變換空間分解成三維旋轉空間和三維平移空間然后分別在分解后的空間內進行尋優。BnB算法盡管能找到配准全局最優解，但是通常都極為耗時。
對於基於對點對應關系的配准方法，絕大部分是依賴基於點雲局部特征描述與匹配建立的點對點匹配，也有一部分是基於二元或三元點對點對應關系。這類方法通常首先在兩組點雲之間檢測一系列稀疏關鍵點，通過在關鍵點上提取局部點雲特征並進行特征匹配即可建立點對點的對應關系。由於待配准點雲通常僅僅具有部分重疊區域，需要例如采樣一致性（random sample consensus，RANSAC）等匹配篩選算法剔除誤匹配並從正確匹配子集中估算變換矩陣。該類配准算法和基於BnB的配准算法相比具有更高效、穩定性更強等優點，是目前點雲配准的一個標准方案。其中，點雲局部特征描述和特征匹配是尤為關鍵的兩步。
至此，這篇文章主要介紹了點雲局部特征描述與特征匹配的研究意義與研究價值；然后闡述了特征描述子、特征匹配與點雲配准的國內外研究現狀，后續將介紹一些比較fancy的局部特征描述算法、特征匹配方法、點雲配准算法以及基於深度學習的點雲特征融合方法等。