點擊“計算機視覺life”關注，置頂更快接收消息！
本文閱讀時間約5分鍾
本文翻譯自卡內基梅隆大學 Chris asteroid 三維視覺技術的選擇
- 傳感器參數及定義
- LIDAR & ToF 相機 & 雙目相機介紹
- 工作原理
- 優缺點
- 采樣數據比較
- 測試及極端情況測試
三維成像技術原理和應用想必大家在之前的文章中了解過啦，今天想給大家比較一下LIDAR、ToF 相機以及雙目相機，並且還有一些直觀的測試數據來展示各自的優缺點，是騾子是馬拉出來溜溜！
傳感器參數及定義
如何評判傳感器的好壞呢？這是有統一的標准的，划分為性能參數和非性能參數，不要小看非性能參數，它也會限制在實際中的應用。
性能參數
- 視場角（Field of view）：傳感器可感知的角度，包括垂直視場角和水平視場角
- 密度（Density） ：在兩個采樣點之間的角度步長（angular step size）
一般縱向橫向密度有所不同，一般在整個系統中視場角越大，密度就會越小
-
分辨率（Resolution）：視場角和密度的乘積
-
距離精確度（Depth accuracy）： 距離精確度能夠反映測量距離和實際距離的偏差 （要與分辨率區分），它是傳感器的一個重要參數。分辨率很高的傳感器可以分辨細節特征，即使距離有一些偏差。傳感器可以有高的分辨率但距離精確度一般
-
分辨率（Depth resolution）： 沿着測量坐標軸下的可測量距離
-
最大最小探測距離（Minimum and maximum range）： 傳感器的可感知距離
與材料、環境光亮度、反射率有關
- 幀率（Frame Rate）： 每秒的幀數
反映獲取數據的速度
非性能參數
-
尺寸 重量 功率
-
成本
-
封裝
使傳感器隔絕外界灰塵，防水濺以及水浸入
- 通信接口
一般有以太網、USB、法爾接口、CAN總線、串口
物理接口一般使用以太網
- 同步
硬件、軟件（廣播觸發、網路定時）、無同步
-
軟件接口
-
還有一些其他的參數 例如溫度、健康報告、慣性測量單元、通用輸入輸出等
終端使用對權重的影響
表格中展示了一些應用場景下重要的參數，橘色是重要的，黃色是相對重要的。例如
地圖測繪---可測量最大距離
強調安全性的系統---幀率，因為需要及時獲取三維數據進行判斷
UAV（Unmanned Aerial Vehicle）---重量
UGV（Unmanned Ground Vehicle）---垂直視場角、最小探測距離
在不同的應用場景下我們要知道什么是最重要的參數，例如室內地面機器人需要檢測障礙物，避免碰撞，這時垂直視場角最重要。
LIDAR
原理
LIDAR工作原理是發射激光到物體表面，然后接收物體的反射光信號，比較與初始激光的不同從而計算出距離。單束LIDAR利用旋轉鏡等機械部件可在兩個方向上機械轉向掃描。
也有無掃描部件的固態LIDAR的研究，但目前還不能商業化，現在主要是用單點或者機械掃描小數目的點。
優點有：
-
探測距離遠，探測范圍在10m到2km之間，距離主要取決於激光的能量和脈沖持續時間
-
有固定的誤差模型，誤差在厘米級別
-
水平視場角通常很寬，是因為有旋轉鏡或者可旋轉的發射器和探測器
Velodyne公司的LIDAR（左圖）水平視場角是363°，但垂直視場角很小，Carnegie Robotics SL（右圖）有270度球面視場角
-
垂直視場角可以很大，這取決於機械部件和激光光束的安置
缺點有：
- 成本高，目前低成本的LIDAR仍未出現，目前LIDAR發展趨勢是低成本、小型化、固態化
- 密度非對稱且掃描到的點數有限
- 發射光束受環境干擾，相對被動成像技術來說更易受雨雪天氣影響
- 有移動部件，含有不平整的窗口，給封裝帶來困難
- 掃描耗時，無法即刻獲取數據，且需要后期處理來補償機械部件導致的運動模糊誤差
ToF相機
ToF相機采用的是連續波調制，比較物體返回信號和發射信號的相位差可得距離信息，可實現像素級別測量。
z~amb~是最大可測量距離，根據公式可知小的頻率有更大探測距離
一般來說光探測器分辨率較低，測量距離有限，可增大光的發射功率來增大發射距離，
一般常用正弦波信號，但是正弦波相位每隔2π就會重復，這意味着接收信號有重疊，影響測量准確性，
所以可以采用多個調制頻率，真實距離就是多個調制頻率共同測到的值，但這會導致追蹤反射信號時間變長，從而增加了信噪比，並且在相機或物體運動的情況下造成運動漂移。
當然ToF相機也有很多優點：
- 場景紋理豐富與否不影響測量
- 具有即時的垂直水平視場角
- 距離誤差是線性的
- 對於運動的障礙物產生的陰影較窄
- 無移動部件
缺點有：
- 相比於雙目分辨率更低，
- 積分時間長會增加信噪比，若相機或被測物體運動則產生運動模糊
- 受多路徑光線返回的影響深度數據畸變
- 環境光過強影響反射信號的探測
- 視場角一般小於60度
- 輸出的是點雲數據並非圖像
雙目立體視覺相機
雙目原理與ToF完全不同，雙目成像類似於人的雙眼，通過左右相機的拍攝圖像的差異（視差）來確定距離，這種差異與物體的遠近距離成反比，就像你會覺得距離近的物體會移動的更多，無限遠的物體幾乎不動一樣。
提前標定可以得到畸變參數和相機基線距離、焦距等參數，那么我們就可以利用視差來計算出物體的距離，這就是對應點匹配。因此對應點匹配的准確度是深度信息准確度的關鍵。
目前有許多方案來解決對應點匹配問題，比較新的方法是神經網絡，但它還不是一種非常穩健高效的方案。
另一個需要強調的是相機有視差搜索范圍（disparity search range），如果不指定視差搜索范圍，許多算法的性能會下降。大的視差搜索范圍意味着相機能夠看清更近的物體，但是計算量增大，將使得相機幀率下降。
與其他相機相比，雙目優點有：
- 無移動部件，僅由兩張二維照片獲得深度信息，分辨率和采樣密度沒有限制，如果想增加分辨率，雖然會使得算法計算量增加，校正過程也變得繁瑣，但並不存在物理性限制
- 可以很靈活的選擇視場角和基線，垂直視場角可以很大，調節范圍在10到230度
- RGB圖像信息與深度信息同時可以從雙目相機中獲得，而配有RGB攝像頭的ToF相機還需要兩種數據的融合。
但是，雙目也存在一些缺點：
-
雙目的准確性受表面紋理影響，成像非常依賴物體表面的紋理，所以雙目適用於紋理豐富的場景，或者采用主動成像的方法——用帶有圖案的結構光投影，通過反射回來的變形圖案來來解決對應點匹配的問題。雙目相機在測繪和安保領域有重要作用，因為在這些工作場景紋理信息很豐富。
-
兩個相機視野中的障礙物有所不同，因此會產生重影
-
由於雙目基於三角法原理，因此隨着距離的增加，誤差是非線性的，這比LIDAR的線性誤差還要糟糕，需要在后期算法處理中進行建模補償從而提高准確性，不過這也和雙目相機沒有探測的最大距離限制有關
三維采樣數據比較
該數據來自來自the DARPA Robotics Challenge
在機器人走樓梯的場景下，分別利用DARPA的掃描型LIDAR和MIT SL雙目傳感器的三維數據進行機器人的足跡規划來爬樓梯。在視頻正常播放速度下，SL能夠讓機器人移動的很快，並且沒有碰到障礙物，但是掃描型LIDAR必須要隨時間加速數據，但視場角很寬廣，能夠看到整個場景，而SL只能看到一部分。
接下來是在人靠近棋盤並拿起棋子的場景下，對LIDAR、ToF相機、雙目相機進行測試。
LIDAR
視場角較寬；但捕捉並且確認人類困難；水平和垂直方向的密度不均勻；
返回像素混疊（mixed-pixel returns），LIDAR接收到桌子部分返回的信號和地板返回的信號但無法分辨它們，於是給出了一個錯誤的中間值
可以看到這個數據實時性更好，但點雲稀疏。LIDAR掃描速率越快，實時性就會好，但數據點會比較稀疏，反之想要得到細節更豐富的場景掃描速率就會慢。
總而言之，得益於它的測量距離長並且視場角寬廣，LIDAR適用於汽車、飛機等高速交通工具和需要高轉向速率的系統。
ToF相機
低成本相機：
低分辨率、低幀率；視場角窄；棋子不可見；
手電筒效應，采用紅外線發射器，可以看到照亮了近距離的物體，但背景非常暗；
二分之一的地板消失；存在mid-air returns
工業相機：
高分辨率、高幀率；近距離物體失真；有物體遮擋的牆面彎曲；
由於多路徑信號返回導致地板失真；混合像素返回（mixed-pixel returns）
總體來看，ToF相機適合室內環境的使用，例如對近距離物體的掃描和手勢識別。
雙目相機
視場角寬，高幀率；數據密度高，可看清棋盤上的棋子；能輸出與場景匹配的顏色圖像；
由於鏡面反射導致出現地面以下的數據點；棋子在牆上有影子導致牆面部分圖像失真
總的來說，雙目相機適用於環境光充足的戶外環境，或者用於不能夠主動投射光的軍事應用。
3D傳感器測試
對於ToF和雙目傳感器來說，它們小巧便攜，且成本低廉，在室內環境里優勢格外突出。
接下來我們會定量地測試這些傳感器性能表現，比較它們的不同，並展示一些極端情況下的性能結果。
ToF&雙目室內場景比較
這個場景是室內的玄關，可以看到地面和牆面較低的部分，還包括一些地面上的物品，如滅火器和急救箱。
兩個相機拍攝的圖是俯視方向，來自同一角度。
雙目視場角比較寬，對距離稍微遠一些的牆面和地面上的物品也可以看到，細節和距離遠遠超過ToF相機，但是牆面有缺失，且牆面上的紋理沒有還原出來。
ToF相機能夠接收到比較強的近距離反射信號，所以對近距離的牆面還原度很好，但是遠距離信號弱，在加上噪聲的影響導致無法識別。
這兩幅圖拍攝方向都是在探測器之上，並向下傾斜一些。
我們可以看到，雙目水平垂直視場角都很寬闊，無論近距離遠距離物體都能探測到，對場景細節的重現很豐富。
而ToF相機在對沒有紋理的牆壁更能准確成像，但對遠距離的場景無法成像。
極端情況測試
在少數特殊情況下，傳感器性能可能會出現下降，例如在駕駛這樣的安全性要求極高場景下，即使是小概率極端情況也會造成嚴重的后果，因此我們也要關注這些情況下的性能。
這個場景里有瓷磚地板、玻璃等特殊材質，ToF相機接收到的可能是多次折射后的光線，會有散射畸變，因此圖里會出現牆壁彎曲和地板凹陷。
在50m的隧道里釋放煙霧，用3D激光器和雙目相機進行測試，右圖是激光器和雙目的彩色點雲數據俯視圖，雙目相機成像類似人眼，因此在煙霧中准確性會下降，但仍然能夠分辨出物體。而激光在煙霧中傳播距離大大降低，性能急劇下降。
雙目采用的二維RGB相機會有過曝光現象，當強光直接射進鏡頭導致反射和散射，出現光暈，從而丟失一些數據，但不會影響其他區域數據的采集的准確性。
不同的材料測試
室內環境中物品雜亂，那這些不同材質的物品會對性能有影響嗎？so我們采集36個室內環境常見的材料對LIDAR、ToF相機、雙目相機分別在環境光和鹵素紅外線強照明兩種條件下進行測試。
A廠家LIDAR測試圖
LIDAR對於環境光照明和紅外線照明具有相似的性能表現，但LIDAR存在一個奇怪的現象，如圖中藍色方框里，會有一個向相機靠近的2.5cm的偏移。
B廠家LIDAR測試圖
B廠家比A廠家LIDAR噪聲在環境光下多50%，在紅外線強照明下多40%。經比較A廠家的LIDAR性能更好，看來不同廠家的產品差距還是挺大的。
雙目相機測試圖
雙目相機基線距為7cm，可以看到對於紋理較少的黃銅、鏡子等的成像噪聲很多，這也證實了雙目確實不適合紋理較少的場景。
總結
人無完人，當然也沒有任何場景都適用的超能三維傳感器，它們都會有限制條件和極端情況，所以不能直接照搬別人的方案，其他人用了這個傳感器有不錯的效果，不意味着在你的應用場景下會有同樣好的效果，畢竟如人飲水冷暖自知呀。
如何找到你心中的完美3D傳感器呢？那就得知道哪些是和應用相關的重要的性能參數和非性能參數，要了解在應用中會出現哪些極端情況，比較這些傳感器在極端情況下工作狀況如何，有時候可能需要犧牲一兩個特性參數去優化最重要的那個參數。
在此提供一些資源供大家參考：
Carnegie Robotics
https://carnegierobotics.com/evs/
https://carnegierobotics.com/support/
一些公司&產品列表
歡迎關注公眾號：計算機視覺life，一起探索計算機視覺新世界~