小目標檢測的增強算法
Augmentation for small object detection
摘要
近年來，目標檢測取得了令人矚目的進展。盡管有了這些改進，但在檢測小目標和大目標之間的性能仍有很大的差距。本文在一個具有挑戰性的數據集上分析了當前最先進的模型Mask RCNN，MS COCO。結果表明，小真實目標與預測錨之間的重疊度遠低於期望的IoU閾值。本文推測這是由於兩個因素造成的：（1）只有少數圖像包含小對象，並且（2）即使在包含它們的每個圖像中，小對象也不足以出現。因此，本文建議用小對象對這些圖像進行過采樣，並通過多次復制粘貼小對象來增強每個圖像。它允許本文在大物體和小物體上權衡探測器的質量。本文評估了不同的粘貼增強策略，最終，本文在實例分割和小目標檢測方面分別比MS-COCO上的現有方法提高了9.7%和7.1%。
1． Introduction
本文關注的是最先進的物體探測器Mask R-CNN[18]，一個具有挑戰性的數據集，COCO女士。本文注意到這個數據集關於小對象的兩個屬性。首先，本文觀察到數據集中包含小對象的圖像相對較少，這可能會使任何檢測模型偏向於更集中於中大型對象。其次，小物體覆蓋的區域要小得多，這意味着小物體的位置缺乏多樣性。本文推測，這使得當小目標出現在圖像中不易被探測的部分時，目標檢測模型很難在測試時間內推廣到小目標。本文通過對包含小物體的圖像進行過采樣來解決第一個問題。第二個問題通過在包含小對象的每個圖像中多次復制粘貼小對象來解決。粘貼每個對象時，本文確保粘貼的對象不會與任何現有對象重疊。這增加了小對象位置的多樣性，同時確保這些對象出現在正確的上下文中，如圖3所示。每幅圖像中小物體數量的增加進一步解決了少量正匹配錨的問題，本文在第3節中對其進行了定量分析。與目前最新的基於MS-COCO的Mask-R-CNN方法相比，本文在實例分割和小目標檢測方面分別取得了9.7%和7.1%的相對改進。
2． Related Work
實例分割實例分割超出了對象檢測的范圍，需要預測每個對象的准確掩碼。多任務網絡級聯（MNC）[9]構建一個預測和屏蔽的級聯。全卷積實例感知語義分割（FCIS）[23]是一個全卷積模型，它計算每個感興趣區域共享的位置敏感得分圖。[14] ，這也是一種完全卷積的方法，學習像素嵌入。Mask R-CNN[18]擴展了FPN模型的一個分支，用於預測掩模，並引入了新的不同裁剪操作，用於對象檢測和實例分割。
可以通過提高輸入圖像分辨率[7,26]或將高分辨率特征與低分辨率圖像的高維特征融合來處理檢測小目標的小目標[36,2,5,27]。然而，這種使用更高分辨率的方法增加了計算開銷，並且沒有解決大小對象之間的不平衡。[22]取而代之的是，使用世代對抗網絡（GAN）在復雜網絡中構建特征，在交通標志和行人檢測的背景下，這些特征在小物體和大物體之間是不可區分的。[12] 使用基於區域建議網絡中不同分辨率層的不同錨定比例。[13] 根據錨定大小的正確分數移動圖像特征以覆蓋它們之間的間隙。[6,33,8,19]裁剪小對象建議時添加上下文。
3． Identifying issues with detecting small objects
在這一部分中，本文首先概述了MS-COCO數據集和在本文的實驗中使用的目標檢測模型。然后討論了MS-COCO數據集的問題和訓練中使用的錨匹配過程，這有助於小目標檢測的困難。
4． Result and Analysis
5． Conclusion
本文研究了小目標檢測問題。本文發現，小目標平均精度差的原因之一是訓練數據中缺少小目標的表示。這尤其適用於現有的最先進的物體探測器，它要求有足夠的物體供預測的錨在訓練期間匹配。為了克服這個問題，本文提出了兩種擴充原始MS-COCO數據庫的策略。首先，本文展示了在訓練過程中，通過對包含小對象的圖像進行過采樣，可以很容易地提高對小對象的性能。其次，提出了一種基於復制粘貼小對象的增強算法。實驗證明，與Mask R-CNN在MS-COCO上獲得的最新技術相比，實例分割和小目標檢測分別提高了9.7%和7.1%。正如實驗所證實的，所提出的一套增強方法可以在預測大小物體的質量之間進行權衡。