多傳感器信息融合(Multi-sensor Information Fusion,MSIF),就是利用計算機技術將來自多傳感器或多源的信息和數據,在一定的准則下加以自動分析和綜合,以完成所需要的決策和估計而進行的信息處理過程。
1、多傳感器融合幾個概念
硬件同步、硬同步:使用同一種硬件同時發布觸發采集命令,實現各傳感器采集、測量的時間同步。做到同一時刻采集相同的信息。
軟件同步:時間同步、空間同步。
時間同步、時間戳同步、軟同步:通過統一的主機給各個傳感器提供基准時間,各傳感器根據已經校准后的各自時間為各自獨立采集的數據加上時間戳信息,可以做到所有傳感器時間戳同步,但由於各個傳感器各自采集周期相互獨立,無法保證同一時刻采集相同的信息。
空間同步: 將不同傳感器坐標系的測量值轉換到同一個坐標系中,其中激光傳感器在高速移動的情況下需要考慮當前速度下的幀內位移校准。
2、基本原理
多傳感器信息融合技術的基本原理就像人的大腦綜合處理信息的過程一樣,將各種傳感器進行多層次、多空間的信息互補和優化組合處理,最終產生對觀測環境的一致性解釋。在這個過程中要充分地利用多源數據進行合理支配與使用,而信息融合的最終目標則是基於各傳感器獲得的分離觀測信息,通過對信息多級別、多方面組合導出更多有用信息。這不僅是利用了多個傳感器相互協同操作的優勢,而且也綜合處理了其它信息源的數據來提高整個傳感器系統的智能化。
3、多傳感器的前融合與后融合技術
圖 1.2.2a后融合算法典型結構
后融合算法:
每個傳感器各自獨立處理生成的目標數據。
每個傳感器都有自己獨立的感知,比如激光雷達有激光雷達的感知,攝像頭有攝像頭的感知,毫米波雷達也會做出自己的感知。
當所有傳感器完成目標數據生成后,再由主處理器進行數據融合。
圖 1.2.2a前融合算法典型結構
前融合算法:
只有一個感知的算法。對融合后的多維綜合數據進行感知。
在原始層把數據都融合在一起,融合好的數據就好比是一個Super傳感器,而且這個傳感器不僅有能力可以看到紅外線,還有能力可以看到攝像頭或者RGB,也有能力看到LiDAR的三維信息,就好比是一雙超級眼睛。在這雙超級眼睛上面,開發自己的感知算法,最后會輸出一個結果層的物體。
轉載鏈接:https://blog.csdn.net/xingdou520/article/details/84103987
參考鏈接:https://blog.csdn.net/orange_littlegirl/article/details/89067017