Background Suppression Network for Weakly-supervised Temporal Action Localization [Paper Reading]

研究內容：弱監督時域動作定位

結果：Thumos14 mAP0.5 = 27.0

         ActivityNet1.3 mAP0.5 = 34.5

         從結果可以看出弱監督這種瞎猜的方式可以PK掉早些時候的一些全監督方法

Code: GitHub P.S.我在機器上復現始終差一點點

Motivation: 發現之前的工作沒有考慮到背景類別，會將背景幀誤分為動作類別，造成大量FP。本文提出了背景抑制網絡BaSNet，引入了額外的背景類，兩支鏡像網絡(一支為base網絡，一支為用attention抑制背景的suppression網絡)，實驗表明這樣設計可以有效抑制背景的影響，從而提高定位的准確性。

Idea來源: attention模塊參考自STPN[2] (CVPR2018) 將fc換成時域卷積，並且與STPN的attention輸入為單個clip特征不同本文的attention的輸入為視頻特征，STPN的作者今年有一篇ICCV2019的工作[3]也是圍繞背景建模，在STPN的基礎上引入了(1-λ)作為背景類的權重，細節暫且不表

關於背景建模出現在弱監督時域動作定位領域最早的一篇是"Completeness modeling and context separation for weakly supervised temporal action localization"(CVPR2019)[6]

這篇文章的主要賣點不是背景這里，但背景類的引入啟發了后續的3個工作，本文和上面提到的STPN的強化版，還有特別優秀的LPAT[4](Shou Zheng團隊的工作)

方法: 

過去的工作類似base branch沒有背景類。作者想引入背景類，如果單純的直接引入背景類，數據集的設定使得無法找到完全沒有背景的負樣本用於訓練，即每個視頻groundtruth背景類別均為1(全是正樣本)，最后會導致背景類的異常高響應，定位結果很差。

為了構造背景類的負樣本，在另一支網絡中引入attention模塊(filtering module)抑制背景的響應。整個網絡結構使用共享權重的conv模塊分別處理兩個分支，這兩個分支唯一的不同點就是輸入(supp分支的輸入經過attention處理)和background label(base的背景類為1，supp的背景類為0) 這兩點不同。這樣做的目標是更好的訓練filtering module使其學到前景信息，從而有效過濾並抑制背景的響應。

MIL分類的 top-k mean 想法源自WTALC[5]的方法

最后的location模塊在測試階段選取supp分支的輸出，后續操作仍然采用多閾值分割后NMS的方式，proposal的confidence score本文借用CMCS[6]的方法：計算proposal區域和邊界區域的均值得分之差

 

 

效果圖： 

 

 

 

參考文獻

[1] Background Suppression Network for Weakly-supervised Temporal Action Localization (AAAI2020)

[2] (STPN) Weakly Supervised Action Localization by Sparse Temporal Pooling Network (CVPR 2018)

[3] Weakly-supervised Action Localization with Background Modeling (ICCV 2019)

[4] LPAT: Learning to Predict Adaptive Threshold for Weakly-supervised Temporal Action Localization (arxiv 2019)

[5] W-TALC: Weakly-supervised Temporal Activity Localization and Classification (ECCV 2018)

[6] (CMCS) Completeness Modeling and Context Separation for Weakly Supervised Temporal Action Localization (CVPR 2019)