攝像頭與毫米波雷達（Radar）融合
Input：
（1）圖像視頻分辨率（整型int）
（2）圖像視頻格式 （RGB，YUV，MP4等）
（3）毫米波雷達點雲信息（點雲坐標位置x,y，浮點型float）
（4）攝像頭標定參數（中心位置（x,y）和5個畸變
系數（2徑向，2切向，1棱向），浮點型float）
（5）攝像頭初始化參數（攝像頭初始位置和三個坐標方向
的旋轉角度，車輛寬度高度車速等等，浮點型float）
Output：
（1）利用kalman濾波融合后的攝像頭與毫米波雷達
點雲信息（點雲坐標位置x,y，浮點型float）
（2）融合后的image/video （RGB，YUV，MP4等）
（3）目標物與車輛的距離（浮點型float）
（4）目標物的識別 （整型int）
1. 功能定義
時間戳的融合。
攝像頭的時間戳和雷達的世家戳是不一致的。先要實現時間戳上的融合。
空間上的融合。
將攝像頭中檢測得到的目標物轉換到世界坐標系中，來和雷達中所檢測得到的點遠信息的融合。
速度融合。
雷達能夠給出准確的位置和速度信息。攝像頭的速度則可以通過卡爾曼濾波獲得。通過速度融合能夠准確地找到攝像頭的位置和雷達的點源的一一對應關系。
融合算法。融合算法的准確性決定了融合的結果。
攝像頭測距。
由於雷達的測距是點源信息，如果要得到攝像頭上圖像連續的距離還是需要通過像素獲得。因此，需要通過雷達來標定攝像頭的外參。
融合平台的開發。融合之前分別獲得雷達，攝像頭，攝像頭檢測的結果，其中又包括了濾波，攝像頭的測距等算法。
2. 技術路線方案
視覺攝像頭與雷達各有所長。
毫米波雷達與攝像頭融合介紹
1）雷達測速
范圍：-50米/秒～50米/秒，誤差error：0.1米/秒～0.2米/秒
2）雷達測距
120米～130米，誤差error：2.5%以內，單目攝像頭誤差error：8～10%
3）融合方法：特征融合，數據融合。
視覺攝像頭的優點在於：
1) 可以完成道路環境參數識別（車道檢測、前方車輛檢測、行人檢測、道路標志檢測、交通標志檢測）
2) 基於雙目攝像頭可以相對准確的計算物體距離
缺點在於：
1) 識別率與模型算法、外界視覺環境條件相關（雨天、霧霾、黑夜）
2) 識別范圍為視距內范圍
解決或優化方案：
1）提高攝像頭的像素，若攝像頭的像素提高，能夠提高檢測的精度，能夠一定程度上提高測距的精度。
2）自適應標定，這里需要開發自適應的標定算法，根據不同的路況來進行路面的自適應標定來降低誤差。
3）降低攝像頭的放置的位置。降低攝像頭的z方向的高度能夠在圖像上增加y方向上車到滅點的像素數量，從而提高測距精度。
雷達的優點在於：
1) 可以全天候使用，不受光照和天氣等因素影響
2) 可遠距離使用，對目標探測的角度、距離及相對速度探測准確度高於視覺
3) 激光雷達在進行3D掃描過程中，除了對目標進行檢測外，還可以對環境進行感知
缺點在於：
1) 難以識別出人（非金屬物品）、自行車等小物體
2) 彎曲隧道或者障礙物較多的情況下，雷達波反射誤判嚴重
3) 隨着市場產品對於檢測精度的要求越來越高，僅僅使用單一的視覺或雷達技術不足以適應高
精度的駕駛需要。在未來，視覺與雷達ADAS技術肯定是走向有機的融合與結合，取長補短提高判斷的准確性。
解決或優化方案：
實現攝像頭和雷達的融合。
攝像頭和雷達的融合是很多做ADAS當前所關注的關鍵問題之一。因為單純攝像頭和雷達都無法解決測距問題。不僅在測距，今后可能所應用到的高精度地圖也都是需要使用攝像頭和雷達的融合才能夠實現。
當前尋求到最優的方案是實現攝像頭和雷達的融合。攝像頭測距的准確性較低，雷達測距的准確性較高，然而沒有點源的身份信息。雷達和攝像頭的特點對比如下。
表1. radar和camera融合性能對比
攝像頭在雨霧、黑暗的環境下就會“失明”，強光和弱光環境它也不能正常工作。與光學傳感器相比，雷達在分辨率上明顯較差，不過它在測距測速功能和惡劣天氣下明顯更勝一籌。雖然光學傳感器在惡劣天氣下能力受限，但它依然能識別色彩（交通燈和路標），而且在分辨率上依然有優勢，可以說每種傳感器都有自己的優勢也有自己的軟肋。想做到完美的傳感器融合，就要接受不同傳感器的輸入，並利用綜合信息更准確的感知周邊環境，其得出的結果比不同傳感器各自為戰要好得多。
融合算法中有特征融合和數據融合兩種融合。如下圖所示：
圖1. 特征融合（左）與數據融合（右）
如圖1所示，左側是特征融合，右側是數據級融合。
特征融合分別在自己的模塊內完成目標的分類和跟蹤進行融合，模塊間分別通過CAN總線進行數據交互。數據級融合在同一模塊內進行融合，無需數據交換。數據及融合的等級較高，但是需要獲得傳感器的底層參數，當前無法獲得。因此當前采取的是特征融合。
11.3 關鍵技術參數和性能指標
當前各大算法公司給出的測距性能普遍在50米精度在5%，100米精度在10%。根據調研，算法公司通常給出的是一個平均的誤差。實際遠距離測距的誤差可能會比較大。近距離的誤差可能相對比較好一些。遠距離的誤差一直是算法中的難點，因此分段設置測距精度是合理的。
結合毫米波的融合，測距的精度目標是能夠實現如下：
1）50米以內精度2%~3%。
2）100米以內5%~8%。
3）給出TTC時間和警告等級。