論文提出新的特征級超分辨方法用於提升檢測網絡的小物體檢測性能，該方法適用於帶ROI池化的目標檢測算法。在VOC和COCO上的小物體檢測最大有5~6%mAP提升，在Tsinghua-Tencent 100K上的小物體檢測則最大有約9點F1提升
來源：曉飛的算法工程筆記 公眾號
論文: Better to Follow, Follow to Be Better: Towards Precise Supervision of Feature
Super-Resolution for Small Object Detection
Introduction
目前檢測算法的研究取得了很大的進步，但仍然面臨小物體、遮擋物體和不完整物體的檢測問題。論文專注於接近proposal-based檢測算法的小物體檢測問題，認為小物體檢測問題的主要原因在於小物體在特征圖上的信息太少
特征超分辨(feature-level super-resolution)是一個很不錯的增強小物體特征信息的方法，該方法的關鍵在於構造有效的高分辨率特征直接指導generator的訓練。有效的獲取方法是通過縮放原圖然后進行特征提取，取對應的區域的特征作為訓練目標，這樣能夠有效地保留目標的上下文信息。論文發現高低分辨率特征的相對感受域並不是跟縮放比例一致的，而保持相對感受域大小對超分辨訓練很重要，如圖1所示，即要根據相對感受域變換對目標區域進行縮放
論文的主要貢獻如下：
- 考察現有的用於小物體檢測的特征超分辨方法，總結其作用的關鍵點主要有兩點：(i) 使用高分辨率的目標特征作為監督信號 (ii) 輸入特征和目標特征在原圖上的相對感受域大小需要匹配
- 提出新的特征超分辨率方法，可以用於任何帶ROI特征池化的proposal-based檢測器。目標生成器與主干網絡共享權重，使用空洞卷積，另外好提供了迭代式(iterative)的方法來產生超分辨特征
- 從實驗來看，該方法不僅有效增強小物體檢測，對中大物體檢測也有促進，在Tsinghua-Tencent 100K數據集達到SOTA
Mismatch of Relative Receptive Fields
為了說明感受域不對等的問題，論文舉了圖2的例子，其中需要注意的是$R_w$為特征圖上一個點對應的感受域，即連續提取特征所涉及的區域，非stride
對於圖2中的例子，ROI對應的特征的絕對感受域大小(ARF)如公式1
相對感受域大小(RRF)如公式2，即公式1除以原圖大小
假設對輸入進行0.5倍下采樣，則原圖和縮放后的圖片的相對感受域比例如公式3，$c=R_W /D$是個常數。可以看到，若$w$增大，DRRF會趨向1，若$w$減小，DRRF會趨向2，即小物體在高低分辨率的圖片中的感受域可以有接近兩倍的差異。對於ResNet-50的Faster R-CNN，$R_W=291$，$D=16$，則$DRRF_{1/2}(4,1600)\approx 1.8$
Our Approach
論文的方法主要通過超分辨增強小目標的特征，基於兩個關鍵點：(i) 超分辨生成器的直接監督訓練 (ii) 使用空洞卷積來匹配高低分辨率特征圖的感受域
超分辨模塊主要為GAN模型，在基礎的檢測模型上添加了四個組件：
- SR feature generator，作為GAN模塊的生成器，生成高分辨率特征
- SR feature discriminator，作為GAN模塊的辨別器，辨別來自generator和SR target extractor的特征圖
- SR target extractor，提供准確率超分辨特征目標指導GAN訓練
- small predictor，替代原模型的預測器(large predictor)，預測來自SR feature extractor的小目標特征圖，小目標定義的閾值為Tsinghua-Tencent($32\times 32$)、VOC/COCO($96\times 96$)
Super-resolution Target Extractor
定義原圖為$I{1.0}$，下采樣0.5倍的圖為$I{0.5}$，$F_i{1.0}$為原圖第$i$個ROI池化后的特征，上一節說到不能直接用$F_i{1.0}$作為$F_i{0.5}$的超分辨目標，需要獲取更合適的高分辨特征目標$T_i{1.0}$，與$F_i^{0.5}$有類似的感受域。因此，提出額外的CNN特征提取器(super-resolution target extractor)來生成$T_i^{1.0}$，結構如圖3，為了生成一樣的特征，與CNN主干共享權重
常規CNN中核大於1的卷積和池化操作都會增大感受域，SR target extractor需要匹配感受域的增大比例，調整每層的RRF。對於無參數的池化操作，可以直接增大核的大小，而對於卷積操作，增大卷積核則會導致權重跟原CNN不一致。因此，論文將對應主干的卷積核大於1的卷積改為擴張率為2空洞卷積，在保持權重一致的情況下增大感受域。另外對於步長不為1的卷積操作，直接使用仿照使用空洞卷積會導致像素被跳過，如圖4b。因此，論文在空洞卷積后面加入池化層來解決匹配主干上步長不為1的卷積操作，如圖4c
總而言之，SR target extractor包含空洞卷積操作和池化操作來匹配縮小圖片上擴大的感受域，$T_i{1.0}$比$F_i{1.0}$更適合作為高分辨率目標，而且$T_i^{1.0}$包含更多對小物體檢查有用的上下文信息
Super-resolution Feature Generator
特征超分辨模塊為生成對抗網絡(GAN)，目的是將小目標的池化特征$F_i{1.0}$轉換為超分辨處理的特征$S_i{1.0}$。為了獲取高低像素特征對進行訓練，將原圖下采樣0.5倍，獲取第$i$層特征$F_i^{0.5}$和SR target extractor生成的目標特征$T_i^{1.0}$
由於$F_i^{0.5}$只包含了小物體的粗粒度且低頻(理解為變化小)的信息，因此需要結合前面層(sub layer)的特征$F_{sub,i}{0.5}$。如圖5所示，超分辨特征生成器通過迭代式地精調特征$F_i{0.5}$，最終生成與特征$T_i{1.0}$相似的特征$S_i{0.5}$
為了讓生成器符合預期，增加公式2的特征級損失函數
對於超分辨特征辨別器，使用多層感知機(3層)，目標是能夠辨別$T_i{1.0}$和$S_i{0.5}$，而生成器是將$F_{i}{1.0}$生成為難以與$T_i{1.0}$區分開的$S_i^{0.5}$，兩者結合起來最小化公式5和6。只有小目標才會過GAN模塊，不同數據集不同的閾值，具體閾值見本章開頭。為了確保生成的特征對最終的結果有用，在經過GAN模塊后，將超分辨特征輸入到small predictor，計算分類損失$\mathcal{L}{cls}$和定位損失$\mathcal{L}{loc}$對GAN進行fine-tuning
Training
首先訓練基礎檢測網絡，包含主干特征提取、RPN和large predictor。然后凍結主干特征提取和RPN進行GAN模塊的訓練，生成器通過加權$\mathcal{L}{gen}$、$\mathcal{L}{cont}$、$\mathcal{L}{cls}$和$\mathcal{L}{loc}$進行訓練，而辨別器則使用$\mathcal{L}_{dis}$。同時，small predictor使用特征$S_i^{1.0}$進行訓練。SR目標特征提取使用主干特征提取進行初始化，而small predictor使用large predictor進行初始化。當生成器和辨別器收斂后，凍結其它模塊進行small predictor和large predictor的fine-tune，繼續訓練能夠保證預測器能夠適應其輸入的尺寸
Inference
推理時，若ROI是大目標，則使用large predictor進行預測，若ROI是小目標，則使用SR特征生成器對其進行特征處理，然后在使用small predictoe進行預測
Experiments
Results on Tsinghua-Tencent 100K
這是個交通標志的數據集，若IoU大於0.5則認為正確，在不同的主干網絡上添加論文提出的方法進行對比，結果如表1
與SOTA小目標檢測算法進行對比
Results on PASCAL VOC and MS COCO
Comparison of Super-resolution Methods
對比不同超分辨方法的結果，表4的分別為不進行超分辨、去掉$\mathcal{L}_{cont}$、使用主干特征提取生成目標特征以及論文的完整方案
Qualitative Results
Conclusion
論文提出新的特征級超分辨方法用於提升檢測網絡的小物體檢測性能，該方法適用於帶ROI池化的目標檢測算法。在VOC和COCO上的小物體檢測最大有5~6%mAP提升，在Tsinghua-Tencent 100K上的小物體檢測則最大有約9點F1提升
如果本文對你有幫助，麻煩點個贊或在看唄～
更多內容請關注 微信公眾號【曉飛的算法工程筆記】
