自動駕駛是高新科技產業發展和智能出行領域的優勢行業，其中的各項技術發展迅速，取得了眾多關鍵成就。其中感知和定位模塊在自動駕駛系統中起着至關重要的作用，自動駕駛汽車必須首先明確自己在真實世界中的位置，明確車身周圍的眾多障礙物，包括動態障礙物和靜態障礙物。其中動態障礙物包括行人、動物、車輛、其他非機動車等；靜態障礙物包括路障、路標、護欄等，可在高精地圖中予以標注，而且必須依賴地圖更新的頻率。而感知部分則充分利用各項傳感器感知周圍環境，並且實時將數據回傳到工業電腦，通過感知模塊的相應模型和算法獲取障礙物的形態、速度、距離、類別等信息，以便規划和預測模塊預測障礙物的軌跡，做出相應的駕駛決策。無人駕駛汽車通過車載傳感系統獲取道路環境信息后自動規划行駛路線並控制車輛的速度及轉向，進而實現車輛在道路上安全可靠地行駛。無人駕駛汽車的關鍵技術主要包括對道路環境的感知、對行駛路徑的規划、對車輛運動行為的智能決策及對車輛實現自適應運動控制。目前環境感知技術發展的不成熟仍舊是阻礙無人駕駛汽車總體性能提高的主要原因，也是無人駕駛汽車進行大規模產品化的最大障礙。
谷歌無人駕駛汽車
目前應用於自動駕駛感知模塊的傳感器主要有攝像頭、毫米波雷達、超聲波雷達、激光雷達等。攝像頭有着分辨率高、速度快、傳遞的信息豐富、成本低等優勢，依賴深度學習對復雜數據的強大學習能力能極大提高環境感知的分類能力；毫米波雷達有着反應速度快、操作簡單、無視遮擋等優勢，並且能在各種條件下的提供目標有效的位置和速度；激光雷達有着精確的 3D 感知能力、對光線變化不敏感、信息豐富等優勢，圖像數據無法提供准確的空間信息、毫米波雷達擁有極低的分辨率、激光雷達有着十分昂貴的價格。同時，隨着各傳感器性能的提升，單一傳感器帶來了更多的信息，在不丟失有效信息的情況下，提取特征的難度十分巨大。因此，如何高效的處理多傳感器數據並對其進行高效的融合是一項極具挑戰的任務。
自動駕駛汽車傳感器分布
近年來，深度學習在攝像頭數據上取得了驚人的成就，2D 目標檢測速度和精度都得到了極大的提升，證明了深度學習是種有效的特征提取方法。卷積神經網絡模型的發展，極大地提高了提取自動駕駛攝像頭數據特征的速度和能力。有效利用這些高魯棒性、高質量、高檢測精度的圖像特征，基於視覺的無人駕駛汽車也能在 3D 感知任務中獲得不錯檢測結果。深度學習在處理激光雷達數據上也有着不錯的效果，隨着基於稀疏點雲數據的網絡的提出，深度學習在點雲特性的學習能力上也漸漸超過了一些傳統方法。然而，采用深度學習進行多傳感器融合的時候，仍然存在着融合低效、數據不匹配以及容易過擬合等問題；將多傳感器融合技術應用到自動駕駛障礙物檢測的過程中也存在着檢測精度不夠、漏檢錯檢和實時處理能力不足的情況。由於自動駕駛汽車等級的提高，傳統的多傳感器目標融合已經無法滿足決策對感知的需求，大量感知的冗余信息也對決策帶來了極大的困難。並且由於多傳感器的原始數據間在信息維度、信息范信息量上有着巨大的差異，有效的融合多傳感器信息變得十分困難。
多傳感器的數據融合包括多傳感器的空間融合以及時間上的同步。傳感器安裝於汽車車身的不同位置，每個傳感器定義了自己的坐標系，為了獲得被測對象的一致性描述，需將不同的坐標系轉換到統一的坐標系上。點雲數據和圖像數據的空間融合模型涉及的坐標系包括世界坐標系、激光雷達坐標系、相機坐標系、圖像坐標系和像素坐標系。空間融合的主要工作是求取雷達坐標系、攝像頭坐標系、圖像物理坐標系、圖像像素坐標系之間的轉換矩陣。然而由於不同傳感器的工作頻率不同，數據采集無法同步，因此還需要根據工作頻率的關系進行多傳感器時間上的融合,通常做法是將各傳感器數據統一到掃描周期較長的一個傳感器數據上。
自動駕駛感知模塊信息融合又稱數據融合，也可以稱為傳感器信息融合或多傳感器融合，是一個從單個或多個信息源獲取的數據和信息進行關聯、相關和綜合，以獲得精確位置和身份估計，同時也是信息處理過程不斷自我修正的一個過程，以獲得結果的改善。利用多個傳感器獲取的關於對象和環境更豐富的信息，主要體現在融合算法上。因此，多傳感器系統的核心問題是選擇合適的融合算法。
多傳感器信息融合可以簡單的划分為：檢測級、位置級(目標跟蹤級)、屬性級(目標識別級)。對於結構模型,在信息融合的不同層次上有不同的結構模型。檢測級的結構模型有:並行結構、分散結構、串行結構、和樹狀結構。位置級的結構模型有:集中式、分布式、混合式和多級式,主要是通過多個傳感器共同協作來進行狀態估計。屬性級的結構模型有三類：對應決策層、特征層和數據層屬性融合。
檢測級融合是直接在多傳感器分布檢測系統中檢測判決或信號層上進行的融合，對多個不同傳感器的檢測結果進行綜合，以形成對同一目標更准確的判決，獲得任意單個傳感器所無法達到的檢測效果，是信息融合理論中的一個重要研究內容。位置級融合是直接在傳感器的觀測報告或測量點跡或傳感器的狀態估計上進行的融合,包括時間和空間上的融合,是跟蹤級的融合,屬於中間層次,也是最重要的融合。多傳感器檢測融合系統主要可以分為集中式和分布式兩種方式。集中式融合是先將各個傳感器原始數據直接傳輸到融合中心，然后融合中心對這些所有的數據進行處理，最后生成判決。分布式融合是將各個傳感數據進行預處理后，得到獨立的檢測結果，然后所有傳感器的檢測結果再傳到融合中心進行假設檢驗，生成最終的判決。屬性級融合根據多傳感器融合屬性層級的不同主要分為三類，分別是數據層、特征層和目標(決策)層上的融合，方法主要有基於估計、分類、推理和人工智能的方法等。
數據層融合是對傳感器采集到的原始數據進行融合處理，融合前不會對原始數據進行預處理，而先在數據上進行融合，處理融合后的數據。然后進行特征提取和判斷決策，是最低層次的融合。每個傳感器只是將其原始數據傳輸到融合模塊，然后融合模塊處理來自所有傳感器的原始數據。然后將融合的原始數據作為輸入提供相應的算法。傳統方法中，Pietzsch 等利用低級測量矢量融合用於組合來自不同傳感器的數據，用於預碰撞應用。隨着深度學習的發展，在數據配准的情況下，也可以利用深度學習對配准后的數據進行學習。此類融合方法要求所融合的各傳感器信息具有非常高的配准精度。這種融合處理方法的優點是提供其它兩種融合層次所不能提供的細節信息，可以通過融合來自不同來源的原始數據在很早的階段對數據進行分類但是所要處理的傳感器數據量大，處理時間長，需要很高的數據帶寬，實時性差，抗干擾能力差，並且在實踐中可能很復雜，且數據融合由於原始數據采用不同格式和不同傳感器類型，要求傳感器是同類的。因此在架構中添加新傳感器需要對融合模塊進行重大更改。
因此一些研究者開始引入了特征層融合的思想。與直接使用來自不同傳感器的原始數據進行融合不同，特征級融合首先分別對各自數據進行特征提取，然后對提取的特征進行融合處理。特征級融合需要對傳感器采集到的數據作提取特征處理，抽象出特征向量，然后對特征信息進行處理，最后到融合后的特征，用於決策，屬於中間層次的融合。其優點在於有助於提高實時性，降低對通信寬帶的要求。特征級融合提供了更多的目標特征信息，增大了特征空間維數。融合性能有所降低的原因是由於損失了一部分有用信息。特征級融合的實現技術主要有：模板匹配法、聚類算法、神經網絡和支持向量機（Support Vector Machine, SVM）等。大多數基於深度學習的方法也是利用神經網絡提取特征，對不同傳感器提出的特征之間做級聯或者加權，如 RoarNet、AVOD、MV3D、F-PointNet等。特征級融合的主要優點是它能夠減少傳感器數據到融合模塊的帶寬，並且可以通過提升特征的互補性來提升效果。特征級融合保留了低級融合的相同分類和預處理能力，允許相關數據類似地有效地集成到跟蹤算法中。
目標(決策)層融合架構與低級融合相反。每個傳感器分別進行目標檢測算法，並產生跟蹤目標列表。然后，融合模型將這些目標與一個目標跟蹤序列融合相關聯。對每個傳感器進行預處理、特征提取、識別或判決，最后得到的初步決策進行融合判斷，因此是最高層次的融合。決策級融合可以在同質或異質傳感器中進行融合。決策級融合的優點與不足恰好和數據級相反，目標級融合的主要優勢在於其模塊化和傳感器特定細節的封裝。並且通信量小，有一定的抗干擾能力，處理代價低，選用適當融合算法，可以將影響降到最低；主要缺點：預處理代價高，數據信息處理效果比較依賴於預處理階段的性能。常用的方法有：專家系統方法、模糊集合論、貝葉斯推理、D-S 證據理論等。現階段大多數目標層融合的目標檢測方法十分低效，不適用於自動駕駛汽車對檢測時間的要求。同時，特征層和數據層的融合也需要更多的考慮各自數據形式。
目前大多數多傳感器融合研究集中於圖像數據與多線激光雷達，然而，只基於攝像頭的自動駕駛感知系統，缺乏空間信息的維度，無法精確的恢復空間信息的位置。攝像頭易受到光線、探測距離等因素的影響，當檢測遠距離目標的時候，只能給出分辨率極低的信息，甚至人的肉眼無法分辨，導致無法標注或錯誤標注的問題，無法穩定地應對復雜多變的交通環境下車輛檢測任務，無法滿足無人駕駛汽車穩定性的要求。因此，自動駕駛目標檢測需要更多的傳感器。而激光雷達具有探測距離遠、不受光線影響並且能夠准確獲得目標距離信息等優點，能夠彌補攝像頭的缺點。當目標被識別時，可判斷此時檢測框內有無點雲，來決定是否修正相應的識別置信度。雷達點雲數據與圖像數據的融合不僅能獲得准確的目標的深度信息，還能降低圖像檢測時的漏檢的概率，達到了融合數據以提高檢測效果的目的，通過這種多視圖的編碼方案能夠獲得對稀疏３Ｄ點雲更有效和緊湊的表達。
由於視覺圖像獲取較易、處理方法多樣，所以視覺技術是現階段自主車輛研究中的主要獲取信息手段。其中視覺技術主要分為單目視覺和雙目視覺。單目視覺識別技術多采用基於車輛特征的方法，該方法主要利用車輛與背景有差異的特征，如紋理、邊緣和底部陰影等。但這種方法獲取的信息量不足，缺乏深度信息，而且易受外部環境的干擾，諸如光照和陰影等因素。雙目視覺識別技術雖然可以取得較好的效果，但其計算量較大，算法復雜，難以保證車輛識別的實時性。激光雷達能夠獲得場景的距離信息，不易受光照等外部條件的影響，但其獲取的外部信息不充分，易造成誤判。因為圖像具有較好的橫向紋理特征，點雲能夠提供可靠的縱向空間特征，故而采用多傳感器融合技術可以克服單一傳感器獲取信息量不足，探測范圍小的缺點。隨着自動駕駛和深度學習技術的發展，多傳感器融合相關技術得到了極大的推動。多傳感器融合技術基本可概括為：對於不同時間和空間維度的多傳感器信息，依據融合准則，對這些信息進行分析，獲得對被測量的目標一致性描述與解釋，進而實現后續的決策和估計，使融合結果比單獨獲取的結果更加豐富與准確。在自動駕駛領域，卡爾曼濾波算法、D-S 證據理論等傳統多傳感器融合算法仍然發揮着十分重要的作用。但隨着深度學習快速發展，端到端的數據融合也成為自動駕駛不可或缺的方法。
現有的融合方案有些僅用於輔助確認目標的存在性，例如在激光雷達返回有目標的大致區域進行相應的視覺檢測；有些使用了統一框架進行融合，如在基於卡爾曼濾波框架下，對於不同傳感器賦予了不同的協方差，並在任意一個傳感器獲得目標數據后進行序貫更新。這些方案均可以實現多傳感器數據融合，但由於只是將不同傳感器等同看待而進行融合，方法雖然直接但低效，因而效果有較大提升空間。在基於純視覺的 3D 目標估計中，估計的距離屬性極其不穩定，而通過多傳感器的融合，對視覺信息進行修正，極大的提高自動駕駛的目標檢測精度。 在目標層的融合攝像頭和激光雷達信息不能滿足自動駕駛的要求。