說起融合，大家肯定會想到 融合的幾個層次。數據級融合、特征級融合、決策級融合。
目前我們所采用的融合策略是決策級融合。
（ 1）特征級融合的特點，主要是雷達輔助圖像。
基本的思路是將雷達的點目標投影到圖像上，圍繞該點我們生成一個矩陣的感興趣區域，然后我們只對該區域內進行搜索，搜索到以后跟雷達點目標進行匹配。它的優點是可以迅速地排除大量不會有車輛的區域，極大地提高識別速度。而且呢，可以迅速排除掉雷達探測到的非車輛目標，增強結果的可靠性。
缺點： 1）首先，這個方法實現起來有難度。理想情況下雷達點出現在車輛中間。首先因為雷達提供的目標橫向距離不准確，再加上攝像頭標定的誤差，導致雷達的投影點對車的偏離可能比較嚴重。我們只能把感興趣區域設置的比較大。感興趣區域過大后導致里面含有不止一輛車，這個時候目標就會被重復探測，這會造成目標匹配上的混亂。交通擁擠的時候尤其容易出來這種情況。
2）另一方面是這種方法本質上只是對雷達目標的一種驗證，無法充分發揮視覺的作用。雷達和攝像頭的視野其實並不完全重合，最左邊那輛車根本沒有被檢測到。
當然了，也有一些學者在雷達和圖像聯合標定完之后，在圖像坐標系下面進行 圖像分割，在分割完之后，通過訓練完的特征去檢測分割后的區域是什么。
（2）決策級融合的特點：
JPDA：概率數據關聯算法，它是利用了多個傳感器的數據進行關聯，然后做的。
相比原來的算法，PDA有很多優點。
1）很重要的一點是模塊化，我們把目標識別和融合分開了，這使得算法更容易實現和調試。
2）傳感器測量值有效地和車輛目標關聯。右邊是一個示意圖，十字形表示雷達的探測目標，小矩形表示圖像探測到的目標。大矩形是融合的結果。對於雷達和攝像頭共同探測到的結果，我們進行了有效的融合。
3）傳感器的信息得到了充分利用。雷達和攝像頭的視野並不完全一樣。雷達長距離探測比較准確，但視野相對較窄。攝像頭長距離較弱，但視野較寬。有些目標只被單個的傳感器探測到，此時這個目標會得到保留並進行跟蹤。
（3）這里面有幾個概念需要了解清楚：
1）多目標跟蹤的核心是數據關聯，卡爾曼只是一種濾波算法，可以作為跟蹤來使用，但前提是
知道哪個目標對哪個目標，也就是知道了這個目標的上一次是對應於哪個的，不然無法處理。
JPDA是多目標跟蹤里面的數據關聯的內容，PDA是單個目標里面的數據關聯的內容。
2）融合的關鍵點：時間上同步（時間戳解決），空間上同步（標定解決）。
融合涉及到多個過程：目標關聯+目標濾波+目標跟蹤等。
最后的實現：
最后在圖像和雷達數據當中，需要解決幾個關鍵問題。
- 觀察值匹配問題， 如何驗證 圖像和毫米波得到的觀測值 與上一個周期的目標值相匹配。
- 數據融合問題， 如何將已經確認的雷達和圖像的觀測值 進行融合，得到當前目標值。
- 維護有效目標庫，為了對跟蹤序列的目標進行刪除、新建、跟蹤，需要對目標的個數進行限定。對於新目標，我們需要建立新的軌跡進行跟蹤。
NN+互補濾波，跟蹤用常速度模型來做。