多傳感器融合（三）
十三．前融合與后融合
多傳感器融合技術中的前融合、后融合
后融合算法典型結構
后融合算法：
1、每個傳感器各自獨立處理生成的目標數據。
2、每個傳感器都有自己獨立的感知，比如激光雷達有激光雷達的感知，攝像頭有攝像頭的感知，毫米波雷達也會做出自己的感知。
3、當所有傳感器完成目標數據生成后，再由主處理器進行數據融合。
前融合算法典型結構
前融合算法：
1、只有一個感知的算法。對融合后的多維綜合數據進行感知。
2、在原始層把數據都融合在一起，融合好的數據就好比是一個Super傳感器，而且這個傳感器不僅有能力可以看到紅外線，還有能力可以看到攝像頭或者RGB，也有能力看到LiDAR的三維信息，就好比是一雙超級眼睛。在這雙超級眼睛上面，開發自己的感知算法，最后會輸出一個結果層的物體。
數據融合的算法
雷達和攝像頭是兩項傳感器技術完美融合、互為補充的典范。采用這種方法的融合系統所實現的功能要遠超這些獨立系統能夠實現的功能總和。
使用不同的傳感器種類可以在某一種傳感器全都出現故障的環境條件下，額外提供一定冗余度。這種錯誤或故障可能是由自然原因（諸如一團濃霧）或是人為現象（例如對攝像頭或雷達的電子干擾或人為干擾）導致。
即使是在一個傳感器失效的情況下，這樣的傳感器融合系統也可以保持某些基本或緊急的功能。完全借助報警功能，或者讓駕駛員時刻做好准備，從而接管對車輛的控制，系統故障也許就不那么嚴重了。
然而，高度和完全自動駕駛功能必須提供充足的時間讓駕駛員重新獲得對車輛的控制。在這段駕駛員接管車輛控制之前的時間范圍內，控制系統需要保持對車輛最低限度的控制。
十四. 特斯拉
一起事故引發的改變
2016 年 5 月，美國佛羅里達州一輛開啟了自動駕駛模式（Autopilot） 的特斯拉與白色重型卡車相撞，導致特斯拉車主身亡。
這起被稱為“全球首例自動駕駛致死”事故，讓不少人開始對自動駕駛的安全性表示擔憂，也給特斯拉蒙上一層陰霾。
事故曝光后，特斯拉與其視覺識別系統供應商 Mobileye 終止合作，並於 9 月份通過 OTA 推送了 V8.0 系統， 強化毫米波雷達作用，將其提升成為主控制傳感器。
特斯拉 V7.0 時代的自動駕駛主要以圖像識別為主，毫米波雷達只是一個輔助傳感器，V8.0 系統對整個技術方案做出了很大的調整：以毫米波雷達為主，圖像識別為輔，雷達可以監測范圍是之前的 6 倍，大幅增強特斯拉的前方障礙識別能力。
而到了2016 年 10 月，特斯拉又發布 Autopilot2.0，宣布未來生產的所有車型都將具備進行完全自動駕駛的硬件系統。同時，特斯拉表示在此硬件基礎上的自動駕駛的安全性有了空前提升。
Autopilot 2.0 與 Autopilot 1.0 硬件對比情況
特斯拉的完全自動駕駛硬件系統包括：
1）車身四周加裝 8 個攝像頭，能夠測量 250 米范圍內的物體；
2）搭載 12 顆 超聲波傳感器，用以輔助偵測；
3）升級增強版的毫米波雷達，能夠在惡劣天氣下工作，也能探測到前方車輛；
4）汽車主板的性能是前款產品的 40 倍，大幅提升計算能力。
特斯拉本次發布Autopilot 2.0的完全自動駕駛硬件變化最大的在於攝像頭，數量從原先的1個增至8個。 這也預示着特斯拉感知端的技術路線從原先的攝像頭，到倚重雷達，最后又重新選擇了攝像頭。
特斯拉不斷變化的主控傳感器選擇說明感知端目前還沒有完全固定的技術路線，特斯拉自身也是在探索中不斷地前進。
十五. Mobileye
實際上，與特斯拉“分手”，是Mobileye提出來的。
經過十幾年的研發創新，Mobileye憑借其EyeQ系列芯片上的高級視覺算法可實現多種ADAS功能，已成為視覺系ADAS產品中絕對的龍頭。
從2007年研發出的第一代EyeQ產品開始，Mobileye與意法半導體合作，不斷升級芯片技術，優化視覺算法，EyeQ3產品的運算速度已是第一代產品的48倍。
Mobileye 的 EyeQ 系列產品升級情況
從表格中我們可以看到，前三代產品都只搭載一顆攝像頭。目前EyeQ4、EyeQ5產品計划已發布，其中EyeQ4將開始使用多攝像頭方案。預計未來通過芯片升級和算法優化，Mobileye的芯片算法將融合更多傳感器，將推出多目攝像頭+毫米波雷達+激光雷達的解決方案，全面支持無人駕駛。
2016年7月，Mobileye 宣布和特斯拉終止合作，EyeQ3 將會是 Mobileye 和特斯拉的最后一次合作。幾乎同時，Mobileye 還宣布英特爾、寶馬進行合作。今年3月，英特爾以溢價33%+的價格收購Mobileye。
其實，Mobileye與特斯拉終止合作的深層次原因在於：
1）風格策略不同。Mobileye相對保守，特斯拉相對激進，因此Mobileye更傾向與傳統汽車廠商合作。
2）數據歸屬有爭議。Mobileye提出了一個名為REM的概念，數據將由加入的成員共享，而作為積累里程以及數據最多的特斯拉不願意白白把數據共享給別的車廠。
不過特斯拉只是Mobileye所面對的眾多整車客戶之一，但是與英特爾的強強聯合，Mobileye將受益於英特爾從芯片端提供的資源幫助，構造基於視覺、實現傳感器融合的強大算法，推動視覺算法持續向自動駕駛邁進。
趨勢——多傳感器融合
對比特斯拉跟Mobileye的產品升級我們會發現，“老情人”的肉體雖然分離了，但精神上還是一致的。都是通過增加傳感器的數量，並讓多個傳感器融合來提高自動駕駛能力。
上面提到的特斯拉事故中，主要原因有：
毫米波雷達測距可能誤判。毫米波雷達測到前方有巨大障礙物，但可能因為卡車反射面積過大和車身過高，毫米波雷達將拖掛車誤判為懸掛在道路上方的交通指示牌；
攝像頭強光致盲
前置攝像頭 EyeQ3 可能誤判。事故拖掛車是橫置的，全身白色，沒有色彩警告，在陽光強烈的環境下，圖像識別系統容易將拖掛車誤判為白雲。
在極端情況下，特斯拉的毫米波雷達和前置攝像頭均發生了誤判。可見攝像頭+毫米波雷達方案缺乏冗余度，容錯性差， 難以完成自動駕駛的使命，需要多個傳感器信息融合綜合判斷。
傳感器各有優劣，難以互相替代，未來要實現自動駕駛，是一定需要多種（個） 傳感器相互配合共同構成汽車的感知系統的。不同傳感器的原理、功能各不相同，在不同的使用場景里可以發揮各自優勢，難以互相替代。
多個同類或不同類傳感器分別獲得不同局部和類別的信息，這些信息之間可能相互補充，也可能存在冗余和矛盾，而控制中心最終只能下達唯一正確的指令，這就要求控制中心必須對多個傳感器所得到的信息進行融合，綜合判斷。
試想一下，如果一個傳感器所得到的信息要求汽車立即剎車，而另一傳感器顯示可以繼續安全行駛，或者一個傳感器要求汽車左轉，而另一個傳感器要求汽車右轉，在這種情況下，如果不對傳感器信息進行融合，汽車就會“感到迷茫而不知所措”， 最終可能導致意外的發生。
因此在使用多種（個）傳感器的情況下，要想保證安全性，就必須對傳感器進行信息融合。 多傳感器融合可顯著提高系統的冗余度和容錯性，從而保證決策的快速性和正確性，是自動駕駛的必然趨勢。
十六. 多傳感器融合要求：
1）硬件層面，數量要足夠，也就是不同種類的傳感器都要配備，才能夠保證信息獲取充分且有冗余；
2）軟件層面，算法要足夠優化，數據處理速度要夠快，且容錯性要好，才能保證最終決策的快速性和正確性。
算法是多傳感器融合的核心
簡單地說，傳感器融合就是將多個傳感器獲取的數據、信息集中在一起綜合分析以便更加准確可靠地描述外界環境，從而提高系統決策的正確性。
十七. 多傳感器融合的基本原理
多傳感器融合的基本原理類似於人類大腦對環境信息的綜合處理過程。人類對外界環境的感知是通過將眼睛、耳朵、鼻子和四肢等感官（各種傳感器）所探測的信息傳輸至大腦（信息融合中心），並與先驗知識（數據庫）進行綜合，以便對其周圍的環境和正在發生的事件做出快速准確地評估。
多傳感器融合的體系結構：分布式、集中式和混合式。
1）分布式。先對各個獨立傳感器所獲得的原始數據進行局部處理，然后再將結果送 入信息融合中心進行智能優化組合來獲得最終的結果。分布式對通信帶寬的需求低、 計算速度快、可靠性和延續性好，但跟蹤的精度卻遠沒有集中式高。
2）集中式。集中式將各傳感器獲得的原始數據直接送至中央處理器進行融合處理， 可以實現實時融合。其數據處理的精度高，算法靈活，缺點是對處理器的要求高，可 靠性較低，數據量大，故難於實現。
3）混合式。混合式多傳感器信息融合框架中，部分傳感器采用集中式融合方式，剩 余的傳感器采用分布式融合方式。混合式融合框架具有較強的適應能力，兼顧了集中 式融合和分布式的優點，穩定性強。混合式融合方式的結構比前兩種融合方式的結構 復雜，這樣就加大了通信和計算上的代價。
三種傳感器融合體系結構的對比
因為多傳感器的使用會使需要處理的信息量大增，這其中甚至有相互矛盾的信息，如何保證系統快速地處理數據，過濾無用、錯誤信息，從而保證系統最終做出及時正確的決策十分關鍵。
目前多傳感器融合的理論方法有貝葉斯准則法、卡爾曼濾波法、D-S 證據理論法、模糊集理論法、人工神經網絡法等。
從我們上面的分析可看出，多傳感器融合在硬件層面並不難實現，重點和難點都在算法上。多傳感器融合軟硬件難以分離，但算法是重點和難點，擁有很高的技術壁壘，因此算法將占據價值鏈的主要部分。
十八. 總結
在自動駕駛的浪潮下，自主品牌車企對智能化、電子化的需求比合資車企更加強勁，隨之而來的便是自主一二級零部件供應商在該領域的機會，過去幾年，零部件行業也在持續布局等待市場開啟。
相對於控制層和執行層多被互聯網巨頭、整車廠及 Tier 1 所控制，傳感器層的零部件供應商較為分散且門檻相對低一些，進入周期相對短一些。傳感層仍然是國內企業進入自動駕駛產業最容易的切入點。