1.1 TOF初探
TOF是Time of flight的簡寫，直譯為飛行時間的意思。所謂飛行時間法3D成像，是通過給目標連續發送光脈沖，然后用傳感器接收從物體返回的光，通過探測光脈沖的飛行（往返）時間來得到目標物距離。這種技術跟3D激光傳感器原理基本類似，只不過3D激光傳感器是逐點掃描，而TOF相機則是同時得到整幅圖像的深度信息。TOF相機與普通機器視覺成像過程也有類似之處，都是由光源、光學部件、傳感器、控制電路以及處理電路等幾部單元組成。與同屬於非侵入式三維探測、適用領域非常類似的雙目測量系統相比，TOF相機具有根本不同3D成像機理。雙目立體測量通過左右立體像對匹配后，再經過三角測量法來進行立體探測，而TOF相機是通過入、反射光探測來獲取的目標距離獲取。
TOF技術采用主動光探測方式，與一般光照需求不一樣的是，TOF照射單元的目的不是照明，而是利用入射光信號與反射光信號的變化來進行距離測量，所以，TOF的照射單元都是對光進行高頻調制之后再進行發射，比如下圖所示的采用LED或激光二極管發射的脈沖光，脈沖可達到100MHz。與普通相機類似，TOF相機芯片前端需要一個搜集光線的鏡頭。不過與普通光學鏡頭不同的是這里需要加一個帶通濾光片來保證只有與照明光源波長相同的光才能進入。同時由於光學成像系統具有透視效果，不同距離的場景為各個不同直徑的同心球面，而非平行平面，所以在實際使用時，需要后續處理單元對這個誤差進行校正。作為TOF的相機的核心，TOF芯片每一個像元對入射光往返相機與物體之間的相位分別進行紀錄。該傳感器結構與普通圖像傳感器類似，但比圖像傳感器更復雜，它包含2個或者更多快門，用來在不同時間采樣反射光線。因為這種原因，TOF芯片像素比一般圖像傳感器像素尺寸要大得多，一般100um左右。照射單元和TOF傳感器都需要高速信號控制，這樣才能達到高的深度測量精度。比如，照射光與TOF傳感器之間同步信號發生10ps的偏移，就相當於1.5mm的位移。而當前的CPU 可到3GHz，相應得時鍾周期是300ps，則相應得深度分辨率為45mm。運算單元主要是完成數據校正和計算工作，通過計算入射光與反射光相對相移關系，即可求取距離信息。
TOF的優勢：與立體相機或三角測量系統比，TOF相機體積小巧，跟一般相機大小相去無幾，非常適合於一些需要輕便、小體積相機的場合。
TOF相機能夠實時快速的計算深度信息，達到幾十到100fps。TOF的深度信息。而雙目立體相機需要用到復雜的相關性算法，處理速度較慢。
TOF的深度計算不受物體表面灰度和特征影響，可以非常准確的進行三維探測。而雙目立體相機則需要目標具有良好的特征變化，否則會無法進行深度計算。
TOF的深度計算精度不隨距離改變而變化，基本能穩定在cm級，這對於一些大范圍運動的應用場合非常有意義。
1.2 TOF研究機構
<1> Dynamic 3D Vision (2006-2010):
研究領域：多芯片2D/3D傳感器, 動態場景重建, 目標位置識別和光場計算
官網：www.zess.uni-siegen.de/pmd-home/dyn3d
<2>ARTTS (2007-2010):
全稱：“Action Recognition and Tracking based on Time-of-Flight Sensors”
研究領域：開發更加小型更加便宜的新一代TOF相機；將HDTV與TOF技術相結合(iii) 基於動作跟蹤和識別算法的多模式接口和交互系統
<3>Lynkeus (2006-2009):
研究領域：致力於工業應用領域的高分辨率和魯棒性的TOF傳感器，例如自動化和機器人導航
<4>3D4YOU(2008-2010):
研究領域: 構建3D-TV產品線,從3電影中實時獲取點雲數據並且轉換為3D顯示到家庭電視中3D4YOU 應用ToF range cameras初始化估計多個高清晰度相機的深度以及初始化計算3D場景圖像的深度。
<5>MOSES(2008-2012):
全稱：“Multi-Modal Sensor Systems for Environmental Ex-ploration (MOSES)”
研究領域：基於傳感器的多方面的應用，包括基於TOF的人機接口和多傳感器融合
官網：www.zess.uni-siegen.de/ipp_home/moses
1.3 TOF之應用領域
TOF 相機目前的主要應用領域包括：
<1> 物流行業：通過 TOF 相機迅速獲得包裹的拋重（即體積），來優化裝箱和進行運費評估；
<2> 安防和監控：進行 Peoplecounting
確定進入人數不超過上限；通過對人流或復雜交通系統的counting，實現對安防系統的統計分析設計；敏感地區的檢測對象監視；機器視覺：工業定位、工業引導和體積預估；替代工位上占用大量空間的、基於紅外光進行安全生產控制的設備；
<3> 機器人：在自動駕駛領域提供更好的避障信息；機器人在安裝、質量控制、原料揀選應用上的引導；
<4>醫療和生物：足部矯形建模、病人活動/狀態監控、手術輔助、面部3D 識別；
<5>互動娛樂：動作姿勢探測、表情識別、娛樂廣告
1.4 TOF相機特點
<1>優點：
- 相對二維圖像，可通過距離信息獲取物體之間更加豐富的位置關系，即
區分前景與后景；
-
深度信息依舊可以完成對目標圖像的分割、標記、識別、跟蹤等傳統應用；
-
經過進一步深化處理，可以完成三維建模等應用；
-
能夠快速完成對目標的識別與追蹤；
-
主要配件成本相對低廉，包括CCD和普通 LED 等，對今后的普及化生產及使用有利；
-
借助 CMOS 的特性，可獲取大量數據及信息，對復雜物體的姿態判斷極為有效；
-
無需掃描設備輔助工作
<2>缺點：
-
相對於普通數碼相機，其造價仍然偏高，影響該產品目前的普及使用率；
-
相機本身仍然受到硬件發展的限制，更新換代速度較快；
-
測量距離較常規測量儀器短，一般不超過 10 米；
-
測量結果受被測物性質的影響；
-
大多數機器的測量結果受外界環境干擾較為明顯，尤其是受外界光源干擾；
-
分辨率相對較低，本文研究的 PMD Camcube 2.0 型號相機，為目前分辨率最高的 3D 相機，其分辨率僅為 204×204像素；
-
系統誤差及隨機誤差對結果影響明顯，需要進行后期數據處理。