我理解的深度學習名詞釋義——“多模態”

"模態"一詞原來在《自動控制原理》里面見過，但是到了深度學習，意思不太一樣了。

 

在Group Activity Recognition任務下，包含了多模態特征的fusion：

比如表觀特征和運動特征；（CNN+GNN）

比如backbone中的序列圖片I3D和單張RGB圖片的Pose；

 

所以個人認為“多模態”就是“多類特征”，

因此有人討論acc的提升，到底是backbone“多模態”帶來的結果，還是整體設計思路更新穎了。