TOF攝像機可以替代Flash激光雷達嗎?
一.基於ToF技術的Flash激光雷達
基本成像原理上ToF Camera與LiDAR相同,都采用飛行時間測距技術(包括利用APD或SPAD的直接測距法,和相干波調制的間接測量法)。不同之處在於應用的場景、結構設計和發射光波長存在不同。
洛倫茲I系列產品采用ToF測距原理,激光工作波長850nm,最遠可以探測到50m,視場角達60°x 45°,可輸出QVGA(320 x 240)尺寸的深度圖、灰度圖及點雲圖,最高幀速可達120FPS,測距精度為2cm或1%;配置千兆以太網(數據/命令)+CAN(命令)接口,TCP/IP協議傳輸,適用於各類操作系統。
I系列特點:
- 測量距離遠:最遠可以探測到50m;
- 抗強光干擾:可在正午陽光下超過100kLux下工作;
- 高可靠性及環境適應性:使用壽命超過10000小時;工作溫度-40℃~85℃;防水、防塵、防鹽霧、避雷,適合在復雜環境應用;
- 多機協同工作:具備多機協同工作的能力,避免相互干擾。
I系列應用:
- 各類低速車輛:物流車、環衛車、接駁車、AGV等;
- 各類機器人:服務機器人、倉儲機器人、特種機器人等;
- 安防監控:周界防護、入侵監測、人員計數、定位和跟蹤等;
- 還可用於包裹箱體尺寸測量、交通路測等。
二.TOF攝像機與Flash激光雷達基本特性
TOF相機即Time to Flight相機,從原理上講與Flash激光雷達完全一致,沒有任何區別,TOF相機更多時候被稱為深度相機或3D相機。
Flash激光雷達又叫焦平面成像激光雷達。
實際TOF相機與傳統機械掃描激光雷達也差不多,傳統機械掃描激光雷達是逐點掃描成像,而TOF是一次照射成像。
TOF相機與激光雷達的區別只是應用范圍的差別,目前大多數TOF相機用在手機等近距離(2米以內)領域,汽車用激光雷達則在(0.2-250米之間)。
再有就是機械掃描激光雷達是360度覆蓋的,TOF相機一般水平FOV為55度。
與傳統相機比,TOF相機是主動發射激光,激光到達物體表面返回,被激光雷達的光電接收二極管接收到。
根據光速或相位計算光源與目標之間的距離,最終形成深度圖像。
傳統相機是自然光線到達物體表面返回到傳統相機傳感器里的光電二極管內,根據反射光的強度最終形成圖像。
TOF相機原理與激光雷達無絲毫區別
三.TOF攝像機比Flash激光雷達優勢
1. TOF相機相比激光雷達優勢非常明顯,最大的優勢是體積和成本,TOF相機體積可以很小,與普通相機沒有區別,TOF相機集成度高,可以用半導體工藝制造,在芯片上集成圖像傳感器陣列(Image Sensor Array)、讀出電路(Read-Out)和鏡頭。再配合VCSEL發射激光,整套系統理論成本和手機上的TOF相機一樣,不超過30美元。
2. 其他優點還有:刷新頻率高,線掃描激光雷達刷新頻率一般是5-10Hz,Flash激光雷達可以輕易做到KHz。
3. 讀出電路簡單(就是一個積分電路可集成在傳感器新品內),算力需求極低,無需昂貴的GPU或FPGA做運算單元。
4. 分辨率高,目前量產的TOF相機,如松下的像素為640*480,水平FOV為55度,垂直FOV為41度,10Hz的話也就是每秒300萬點,而Velodyne的64線激光雷達每秒130萬點,但這是360度掃描的,如果只是55度,那么只有大約20萬點,遠低於TOF相機,TOF相機相當於960線激光雷達。而最新的TOF相機已經達到100萬像素,也就是大約3168線激光雷達。
上圖為松下TOF相機的參數,松下的TOF相機可以輸出深度圖像、RGB圖像和NIR圖像。不過有效距離應該不超過4.5米。
四.產品及應用
傳統解決有效距離的方法是使用單光子接收光電二極管,傳統激光雷達接收光電二極管是APD。APD即雪崩二極管有兩種工作模式,一種是雪崩模式,或者叫線性模式,另一種叫蓋革模式,也就是單光子探測模式(Single Photon Diode SPD)。
在蓋革模式下,雪崩二極管接收到一個光子的話,就會發生雪崩現象,使電流達到最大值,這個過程一般是瞬態的(一般不到1ps),這樣就可以在極短的時間內對光子進行計數。
利用TDC(時間數字轉換器,一種積分成像技術,包含TAC和ADC兩步)可以直接生成3D數字圖像信號。
缺點是高功率的SPAD一般需要用1550納米的InGaAs/InP工藝的APD,而這種APD成本比較高。不過擁躉依然不少,典型代表是德國大陸汽車、IBEO ZF、Ouster、Argo和豐田。
2016 年9月,前 Google 員工 Salesky 和前 Uber 員工Peter Rander 聯合創辦了 Argo AI。2017年2月,福特公司10 億美元注資 Argo AI。Argo得到福特資金支持后,立刻展開收購,2017年10月,ArgoAI 收購了激光雷達初創公司Princeton Lightwave,具體交易額不詳,估計在1億美元上下。PrincetonLightwave源自知名的普林斯頓大學,2000年成立,主要方向測繪領域的單光子激光雷達,2016年才開始進軍汽車領域。
PrincetonLightwave雖源自普林斯頓大學,但其技術來源是MIT的林肯實驗室,全球最頂尖的單光子激光雷達實驗室。2014年林肯實驗室將單光子激光雷達技術授權給兩家公司,一家是波音旗下的Spectrolab,另一家就是Princeton Lightwave。波音-西科斯基將單光子激光雷達用在美軍下一代直升機上。
豐田早在2010年就開始研發單光子激光雷達,2014年和2015年均有產品問世。
豐田早在2010年就開始研發單光子激光雷達,2014年和2015年均有產品問世。
盡管在2017年豐田TRI投資了Luminar,但這並不意味着豐田放棄了單光子,在2017年底,豐田中央研究院發表了有關單光子激光雷達的論文SPAD DCNN: Localization with Small Imaging LIDAR andDCNN,文中低調地提到了豐田的第三代單光子激光雷達。
IBEO的固態激光雷達核心也是VCSEL和SPAD。
相對微機械和MEMS,IBEO的可靠性和靈活性要高得多,相對無法掃描的Flash激光雷達也有一定優勢。
相對微機械和MEMS,IBEO的可靠性和靈活性要高得多,相對無法掃描的Flash激光雷達也有一定優勢。
IBEO的單光子激光雷達能輸出點雲和反射強度信息,部分Flash可能無法輸出反射強度信息。
IBEO稱之為 ibeoNEXT Generic 4D Solid State LiDAR。水平FOV可選擇11.2度、60度和120度。稱之4D是反射強度信息,反射強度信息近似於傳統攝像頭的灰度圖像,可以用傳統的圖像識別算法分類。
2019年8月27日,WEY品牌母公司長城汽車與激光雷達廠商Ibeo、北京亮道正式簽署了激光雷達技術戰略合作協議,三方合作的產品基礎就是 ibeoNEXT Generic 4D Solid State LiDAR。 SPAD不僅擁有遠距離,還擁有高信噪比、高人眼安全和高分辨率優勢。對於傳感器來說,信噪比是最重要的參數之一。非相干激光雷達的信噪比SNR方程可以表示為:
從上面公式可以看出,要提高信噪比,最簡單有效的方法是提高接收信號光功率和量子效率。單光子或者說蓋革模式下的的APD其量子效率是機械旋轉雷達用的硅PIN二極管的數百乃至上千倍。
要提升功率,就不得不考慮人眼安全,對於常用的905納米來說是不合適的,只有1550納米的InGaAs,和905納米的硅光電探測器相比,要安全上千倍,,可以毫無顧慮地加大激光器的功率。固態激光雷達領域知名的Luminar就是以使用1550納米的InGaAs為特色的,其使用的激光器的功率是傳統硅光電系統的40倍,不僅提高信噪比,減小脈沖寬度至20納秒以下,脈沖重復頻率低於100MHz,占空比低於1%。同時提升了有效距離,在雨雪霧天,物體的反射率會降低,導致激光雷達有效距離縮短,不過加大功率,就可以解決這個問題,Luminar就是這么做的,Luminar強調即使10%反射率的物體,有效距離也可以達200米。
關於激光功率的放大,Luminar申請了專利。其專利是用二級大模場摻鉺光纖(EDFA)放大器將一個種子源激光調制為一個脈沖寬度至20納秒以下,脈沖重復頻率低於100MHz,占空比低於1%的脈沖激光系統。Luminar的專利核心一個是種子源激光,另一個是摻餌光纖放大器。 激光雷達的Z軸分辨率取決於脈沖寬度,激光雷達里有個簡單的公式,激光雷達的Z軸分辨率是脈沖寬度的1/6,10納秒的脈沖寬度分辨率大約就是1.6米。Velodyne的64線激光雷達HDL-64E早期的脈沖寬度是10納秒,據說改為雙反射后提高到5納秒。大部分固態激光雷達一般是50-150納秒,單光子可以輕易做到1納秒甚至是幾十皮秒。遠遠好於大部分激光雷達。 再來說光束角,光束角也在一定程度上決定有效距離,使用MEMS的激光雷達光路復雜,光束角都很大,一般是10mrad以上,Flash型激光雷達一次成像,光路簡單,光束角比較小,可以做到1mrad,單光子也是一種Flash型激光雷達。Velodyne HDL-64的光束角為8mrad。
2020年2月,松下在國際固態電路Solid-State Circuits Conference宣布開發了有效距離100米最遠250米,且達100萬像素的TOF圖像傳感器。標志着單光子激光雷達最終將一統江湖。
松下對傳統的SPAD進行了改進,從平面型改為垂直堆疊型,這來自松下早年在CCD Image Sensor領域積累的豐富經驗。改進后每個像素元的尺寸大大縮小,意味着像素可以更高。
為提高精度各距離范圍內采用不同的技術,10米內是傳統的非直接TOF技術,即相位檢測,精度可達毫米級。10米到100米內采用光子累加和時域非直接TOF技術,精度為厘米級。超過100米采用直接DOF,精度為1.5米。不僅是松下,三星、索尼、意法半導體、Omnivision、還有收購了愛爾蘭Sensl的安森美都在開發類似的TOF圖像傳感器。
三星TOF圖像傳感器芯片截面分析
這種傳感器一旦量產,將碾壓現有任何非360度旋轉型激光雷達,無論功耗、刷新率、成本、性能、體積、車規,都具備壓倒性的優勢。