讀Multimodal Motion Prediction with Stacked Transformers

paper | github(尚未更新代碼)
貢獻 | 模型框架 | 具體實現 | 其他需要注意

貢獻

• 第一個使用堆疊Transformer
• RTS
• STOA

模型框架

中間的三塊主干即堆疊的Transformer，分別用於提取軌跡地圖及交互信息；最后也是回歸軌跡和分數。采用新的基於區域的訓練策略來訓練網絡。

具體實現

• 軌跡特征提取
  從目標車輛和臨近車輛的軌跡中，提取特征。由編碼器和解碼器組成。
• 地圖特征提取
  接受軌跡特征和地圖數據（車道中心線的向量表示），輸出經地圖特征加權后的目標車輛軌跡特征和臨近車輛軌跡特征；
• 交互特征提取
  在目標車輛軌跡特征與臨近車輛軌跡特征作輸入，但只解碼目標車輛特征以提高效率；
• 軌跡解碼
  類似於LaneGCN，兩支：軌跡和分數；
• Region-based Training Strategy
  [35]告訴我們，直接回歸預測軌跡，將導致模式平均問題，不能體現多模；只使用minFDE的預測軌跡來計算回歸和分類損失能解決這一問題；
  多模K越多，會導致模式崩潰問題；
  RTS即將預測軌跡歸類到按照真實軌跡終點聚類而成的幾個空間區域中，通過模型訓練優化改善每個區域中的預測表現；
  區域划分：將車輛旋轉到航向指向y軸正方向，按照終點來聚類，得到7個區域；
  計算歸於真實軌跡所在區域的每條預測軌跡的分類回歸損失，而不是最靠近的真實軌跡的那一條軌跡的損失；
  
• Loss Function
  用於回歸損失的Huber損失、用於評分的KL散度、區域分類損失、；
  回歸損失
  
  Huber損失： 相比平方誤差損失，Huber損失對於數據中異常值的敏感性要差一些。在值為0時，它也是可微分的。它基本上是絕對值，在誤差很小時會變為平方值。誤差使其平方值的大小如何取決於一個超參數δ，該參數可以調整。當δ~ 0時，Huber損失會趨向於MSE；當δ~ ∞（很大的數字），Huber損失會趨向於MAE。
  KL散度
  
  KL散度: 在概率論或信息論中，KL散度( Kullback–Leibler divergence)，又稱相對熵（relative entropy)，是描述兩個概率分布P和Q差異的一種方法。
  區域分類損失
  鼓勵到預測在正確的區域的軌跡有更高的分數，交叉傷損失函數；
  
  中間層損失
  加速訓練過程
  整個損失函數
  

其他需要注意

生成預測軌跡的兩種方法：

• 基於概率生成模型：
• 基於預定義軌跡的方法：
• 回歸軌跡

兩種改善模式平均的機制：

• 軌跡提議機制
• 基於區域的訓練策略