讀 Learning Lane Graph Representationsfor Motion Forecasting

LaneGCN

paper
github

1. 貢獻
   1. 使用圖的模式來表達地圖矢量數據，而非柵格化圖片；
   2. 從圖卷積，提出LaneGCN，設計了整個網絡；
   3. SOTA；
2. 模型框架
   
   三部分：特征提取（1DCNN+FPN提取車輛軌跡信息；LaneGCN提取地圖特征），特征融合（注意力和LaneGCN），軌跡預測（分類概率和回歸軌跡）；
3. 具體實現

   • 信息提取

     • 道路圖
       根據車道中心線的矢量數據及連接關系構建車道圖，並利用膨脹的車道圖卷積（參考圖卷積方式）對地圖特征進行提取。
       車道圖構建：
       將中心線的點連成的線段看作節點。節點間有四種關系{前驅，后繼，左鄰，右鄰}，對應四種鄰接矩陣。節點有形狀特征（長度）和位置特征，並通過MLP進行編碼。
       圖卷積操作：
       
       三個部分：節點本身特征，MLP編碼；左右鄰，圖卷積方式進行編碼；前驅后繼，由膨脹的圖卷積方式進行編碼。膨脹即將前后C個節點，均進行圖卷積然后求和，以此便實現了更大的感受野。此外，整個的圖卷積模塊還有一個殘差連接。
       
     • 車輛歷史軌跡特征提取
       提出CNNs和RNNs都能夠用於時序數據特征提取。此處使用1D CNN進行特征提取，外加一個特征金字塔提卻不同維度特征，最后用殘差進行不同維度特征融合。

   • 特征融合及預測
     之前的研究多是actor與actor之間的關系，少關注actor與map或map與actor之間關系；

     • 交互網絡
       A2L->L2L->L2A->A2A: 除L2L是與MapNet一樣，均為LaneGCN；其他三部分都是Attention機制，在A2L中，引入實時交通信息，如紅綠燈信息，車道是否可用等。
     • 分支預測
       
       兩支：回歸預測軌跡，分類預測概率。
       回歸：融合的結果直接用於軌跡預測；
       分類：結合回歸結果和融合結果，得出每條軌跡的概率；
       思考：如何在此處實現意圖指導軌跡預測？意圖能否視為是預測的概率，用概率來指導實際的軌跡生成？
     • 損失函數
       對應預測兩個分支：回歸損失和分類損失。
       
       分類損失：對於每個acotr的每條軌跡（除開有minFDE的那條），將預測分數與minFDE那條做比。總是希望minFDE的那條是最大的分數，這樣做比結果為負數，max取值為0，沒有損失，這是最好的，然而，當其他軌跡分數大過minFDE，那么做比結果為正，有損失，需要優化；其中，ε有增強損失的作用，當做比結構-0，我認為還不夠好，這樣minDFDE與其他的區別不夠明顯，-0+ε為正數，還需要優化。這就是 max-margin loss 。
       
       回歸損失：對於minFDE的那條軌跡，每個點都和GT做比，我希望minFDE能夠無限接近真實軌跡。
       
4. 其他需要注意
   • 柵格化地圖缺點
   1. 信息損失
   2. 地圖特征難以高效提取

周末趕作業實在是太趕了，實在是不可
看得匆忙