TOF是Time of flight的簡寫,直譯為飛行時間的意思。所謂飛行時間法3D成像,是通過給目標連續發送光脈沖,然后利用傳感器接收從物體返回的光,通過探測光脈沖的飛行時間來得到目標物的距離。TOF的深度精度不隨距離改變而變化,基本能穩定在cm級。
1 TOF相機的特點:
- 相對二維圖像,可通過距離信息獲取物體之間更加豐富的位置關系,即區分前景與后景
- 深度信息依舊可以完成對目標圖像的分割、標記、識別、跟蹤等傳統應用
- 經過進一步深化處理,可以完成三維建模等應用
- 能夠快速完成對目標的識別與追蹤
- 主要配件成本相對低廉,包括CCD和普通 LED 等,對今后的普及化生產及使用有利
- 借助 CMOS 的特性,可獲取大量數據及信息,對復雜物體的姿態判斷極為有效
- 無需掃描設備輔助工作
TOF相機缺點:
- 對於普通數碼相機,其造價仍然偏高,影響該產品目前的普及使用率
- 相機本身仍然受到硬件發展的限制,更新換代速度較快
- 測量距離較常規測量儀器短,一般不超過 10 米
- 測量結果受被測物性質的影響
- 大多數機器的測量結果受外界環境干擾較為明顯,尤其是受外界光源干擾
-
分辨率相對較低,如PMD Camcube 2.0 型號相機,為目前分辨率最高的 3D 相機,其分辨率僅為 204×204像素
2 深度相機比較
目前的深度相機有TOF、結構光、激光掃描等幾種。主要用於機器人、互動游戲等應用。其中較多的是指TOF相機。目前主流的有TOF相機廠商有PMD、MESA、Optrima、微軟等幾家,其中MESA在科研領域使用較大,相機緊湊性好,而PMD是唯一一款能夠在戶內、戶外均能使用的TOF相機,並且能夠具有多種探測距離,可用於科研、工業等各種場合。而Optrima、微軟(還不是真正的TOF技術)的相機主要面向家庭、娛樂應用,價位較低。
1)MESA Imaging AG成立於2006年7月,致力於生產銷售世界領先的3D 飛行時間(TOF)深度測繪相機。該相機采用的圖像芯片技術,能夠實時采集三維數據列(通常稱之為深度圖像),並集成於一個緊湊的固件內。MESA 在此領域榮獲過SwissRanger技術創新獎,眾多的成功經驗可以為客戶帶來定制相機解決方案。MESA的產品能夠進行單相機3D成像。它采用飛行時間法(Time of flight),通過給目標連續發送光脈沖,然后用傳感器接收從物體返回的光、探測光脈沖的飛行(往返)時間來得到目標物距離。相比於其它立體成像方式,這種方式具有實時性好、無死區等特點。MESA的芯片由專門的廠家生產,並引進了CCD/CMOS生產工序,保證了光電功能模塊的獨立性以及優化配置。由此保證了MESA使用的芯片的底層噪聲和隨后的距離測量能力大大優於基於標准CMOS工藝制造的芯片。其型號是SR4000
SR4000 3D測距相機能以視頻幀速率實時輸出3維距離值和振幅值。基於時間飛行原理(time-of-flight TOF),相機包括一個內置的激光光源,發射光經場景中的物體反射后返回相機,每個圖像傳感器中的像素點都分別精確測量該時間間隔,並獨立算出距離值。設計用於戶內環境,SR4000可輕易經USB2.0或者以太網(Ethernet)接口連接到電腦或者網絡中,快速生成實時深度圖。代表着MESA公司第4代時間飛行原理相機,它可輸出穩定的距離值,外形美觀、堅固,體積小(65 X 65 X 68mm)(USB版)。 SR4000隨機包括驅動和軟件接口程序,用戶可以通過接口程序創建更多的應用。
2)Camcube3.0是全球第一款可應用於室外環境的高精度深度相機,這為汽車輔助駕駛、移動機器人等應用帶來了便利。在汽車等交通工具中,停車、開車運行等都一直通過駕駛員的直接觀測和經驗來完成,由於人的經驗誤差或精神狀態影響,在實際過程中,難免會出現各種狀況。而通過TOF相機3D探測,可以很方便的對外界環境進行探測,並對駕駛員起到提醒和輔助駕駛的作用。
PMDTec公司是一家德國公司,其原身是德國錫根大學一個研究傳感器系統(ZESS)的中心實驗室,2002年從德國錫根大學分離出來組建了公司,后被另一家公司收購組建了現在的PMDTec公司。該公司研究3D TOF Imaging(時間飛行技術)超過了10年。2011年,Omek Interactive和PMDTechnologies宣布達成了戰略合作伙伴關系,以提供姿態識別和身體跟蹤解決方案,這為今后的商業應用打下了堅實的基礎。該公司的產品已經開發到了第三代 - CamCube3.0。3D攝像頭的分辨率為200*200,可以以每秒40幀的速度獲取場景的深度信息和灰度圖像。CamCube3.0具有非常高的靈敏度,它可以在較短的快門時間內獲得更高精度和更遠的探測距離。由於其獨家的SBI技術,TOF是少有的既可以用於室內,又可以用於室外的TOF相機,並可以探測快速運動目標。不過缺點就是價格不菲,不含稅的話,要12000美元。所以只適合搞科研,對於民用還有很長的路要走。
PMDTec 公司網址:http://www.pmdtec.com/
PMDTec Wiki:http://en.wikipedia.org/wiki/PMDTechnologies
3)Natal並不是基於ToF的原理,PrimeSense為微軟提供了其三維測量技術,並應用於Project Natal。在PrimeSense公司的主頁上提到其使用的是一種光編碼(light coding)技術。不同於傳統的ToF或者結構光測量技術,light coding使用的是連續的照明(而非脈沖),也不需要特制的感光芯片,而只需要普通的CMOS感光芯片,這讓方案的成本大大降低。Light coding,顧名思義就是用光源照明給需要測量的空間編上碼,說到底還是結構光技術。但與傳統的結構光方法不同的是,他的光源打出去的並不是一副周期性變化的二維的圖像編碼,而是一個具有三維縱深的“體編碼”。這種光源叫做激光散斑(laser speckle),是當激光照射到粗糙物體或穿透毛玻璃后形成的隨機衍射斑點。這些散斑具有高度的隨機性,而且會隨着距離的不同變換圖案。也 Kinect就是說空間中任意兩處的散斑圖案都是不同的。只要在空間中打上這樣的結構光,整個空間就都被做了標記,把一個物體放進這個空間,只要看看物體上面的散斑圖案,就可以知道這個物體在什么位置了。當然,在這之前要把整個空間的散斑圖案都記錄下來,所以要先做一次光源的標定。在PrimeSense的專利上,標定的方法是這樣的:每隔一段距離,取一個參考平面,把參考平面上的散斑圖案記錄下來。假設Natal規定的用戶活動空間是距離電視機1米到4米的范圍,每隔10cm取一個參考平面,那么標定下來我們就已經保存了30幅散斑圖像。需要進行測量的時候,拍攝一副待測場景的散斑圖像,將這幅圖像和我們保存下來的30幅參考圖像依次做互相關運算,這樣我們會得到30幅相關度圖像,而空間中有物體存在的位置,在相關度圖像上就會顯示出峰值。把這些峰值一層層疊在一起,再經過一些插值,就會得到整個場景的三維形狀了。
4)今天最常見的影像捕捉設備是數碼相機。數碼相機輸出一個像素矩陣,每個像素代表一個色值。這是一種二維(2D)視覺技術。3D 視覺是指除了捕捉目標的空間位置(x 軸和 y 軸)和顏色之外,還能捕捉目標的深度(又稱 Z 軸、范圍、距離)及其周圍環境。一個 3D 視覺系統同時輸出每個場景的地形視圖和色彩視圖。PrimeSense是一家無廠半導體公司。他們的技術賦予電視、機頂盒、客廳電腦等消費電子產品自然互動能力。他最得意的兩個字就是:深度。他們的 PrimeSensor 產品包含 Reference Design 和 NITE 中間件。PrimeSensor Reference Design 是一款成本低廉、即插即用、靠 USB 供電的設備,可以放在電視機或顯示器的頂部或旁邊,也可以嵌入其中。ReferenceDesign 能夠實時生成客廳場景的深度、色彩和音頻數據。它能在各種室內照明條件下工作(包括一片漆黑和非常明亮的房間)。它不需要用戶佩戴或手持任何東西,無需校准,也不需要主機處理器做任何運算。PrimeSensor 的設計中包含一個先進的視覺數據處理中間件,它針對面向大眾市場的 CE 產品——NITE進行了優化。NITE 為開發豐富的自然互動應用程序提供了算法框架。NITE SDK(軟件開發工具包)提供了一個文檔詳細的 API 和框架,既能完成 GUI(圖形用戶界面)的設計開發,又能完成游戲開發。
TOF相機相關資源鏈接:
[1]http://labs.manctl.com/rgbdemo/index.php/Main/Download RGBD標定
[2]http://www.ee.oulu.fi/~dherrera/kinect/
[3]http://nicolas.burrus.name/index.php/Research/KinectCalibration
[4]http://www.rgbdtoolkit.com/
本文參考鏈接:http://blog.csdn.net/glb562000520/article/details/17264151
