azure kinect 深度相機原理

RGB原理就不要講了

工作原理

Azure Kinect DK 深度相機實現調幅連續波 (AMCW) 時差測距 (ToF) 原理。 該相機將近紅外 (NIR) 頻譜中的調制光投射到場景中。 然后，它會記錄光線從相機傳播到場景，然后從場景返回到相機所花費的間接時間測量值。
處理這些測量值可以生成深度圖。 深度圖是圖像每個像素的一組 Z 坐標值，以毫米為單位。
連同深度圖一起，我們還可以獲得所謂的清晰 IR 讀數。 清晰 IR 讀數中的像素值與從場景返回的光線量成正比。 圖像類似於普通的 IR 圖像。 下圖顯示了示例深度圖（左）的對應的清晰 IR 圖像（右）。

主要功能

深度相機的技術特征包括：
配備高級像素技術的 1 兆像素 ToF 成像芯片，實現更高的調制頻率和深度精度。
兩個 NIR 激光二極管實現近距和寬視場 (FoV) 深度模式。
全球最小的 3.5μm x 3.5μm ToF 像素。
自動像素增益選擇支持較大的動態范圍，允許捕獲清晰的近距和遠距對象。
全局快門可幫助改善日光下的拍攝性能。
多相位深度計算方法能夠實現可靠的准確度，即使芯片、激光和電源存在差異。
較低的系統誤差和隨機誤差。

深度相機將原始的調制 IR 圖像傳輸到電腦主機。 在電腦上，GPU 加速的深度引擎軟件會將原始信號轉換為深度圖。 深度相機支持多種模式。 窄視場 (FoV) 模式非常適合 X、Y 維度范圍較小，但 Z 維度范圍較大的場景。 如果場景中的 X、Y 范圍較大，但 Z 范圍較小，則寬 FoV 模式更合適。

裝箱的代價是降低圖像分辨率。 所有模式都能夠以高達 30 幀/秒 (fps) 的速率運行，但 1 兆象素 (MP) 模式除外，它的最大運行幀速率為 15 fps。 深度相機還提供被動 IR 模式。 在此模式下，照像機上的照明器不會激活，只能觀測到環境光。

相機性能

系統誤差

系統誤差定義為消噪后測得的深度與正確（真實）深度之差。 我們會根據靜態場景的許多幀計算時態平均值，以消除盡可能多的深度噪聲。 更確切地說，系統誤差定義為：

隨機誤差

假設我們在沒有移動相機的情況下拍攝了同一對象的 100 張圖像。 在這 100 張圖像中，每張圖像的對象深度略有不同。 這種差異是散粒噪聲造成的。 發生散粒噪聲的原因是，在一段時間內，進入傳感器的光子數因某種隨機因素而有變化。 我們將靜態場景中的這種隨機誤差定義為一段時間內的深度標准偏差

失效

在某些情況下，深度相機可能無法提供某些像素的正確值。 在這種情況下，深度像素將會失效。 無效的像素由深度值 0 表示。 深度引擎無法生成正確值的原因包括：
超出活動 IR 照明遮罩范圍
IR 信號飽和
IR 信號強度低
濾波異常
多路徑干擾

透明遮罩

當像素超出活動 IR 光照的遮罩范圍時，它們將會失效。 我們不建議使用此類像素的信號來計算深度。 下圖顯示了超出照明遮罩范圍而導致像素失效的示例。 失效的像素包括寬 FoV 模式的圓圈（左）和窄 FoV 模式的六邊形（右）外部的黑色像素。

信號強度

當像素包含飽和的 IR 信號時，它們將會失效。 像素飽和后，相位信息將會丟失。 下圖顯示了 IR 信號飽和導致像素失效的示例。 請查看指向深度圖像和 IR 圖像中的示例像素的箭頭。

歧義深度

如果像素從場景中的多個對象收到了信號，則它們也可能會失效。 在角落中經常會看到這種像素失效的情況。 由於場景的幾何結構，照相發出的 IR 光會從一堵牆反射到另一堵牆。 這種反射光會導致測得的像素深度出現歧義。 深度算法中的濾波器會檢測這些有歧義的信號，並使像素失效。