作者：Tom HardyDate：2020-05-16
參考：Imbalance Problems in Object Detection paper鏈接:https://arxiv.org/abs/1909.00169.pdf
主要內容和相關背景
本文主要介紹了目標檢測領域的八個數據不平衡問題，並將這些問題分類為四種主要類型：類別不平衡、規模不平衡、空間不平衡和目標不平衡。
當與不同類別相關的示例數量之間存在顯著的不平等時，就會出現類別不平衡。雖然這方面的經典例子是前景到背景的不平衡，但前景（正）類之間也存在不平衡。當對象具有不同的比例和屬於不同比例的不同數量的示例時，就會出現比例不平衡。空間不平衡是指與bounding box的空間特性有關的一組因素，比如回歸懲罰、定位和IoU相關。最后，當存在最小化多個損失函數時，會出現客觀不平衡（各個損失函數的權重不均衡），這在OD中通常是如此（例如分類和回歸損失）。
現主要有兩種目標檢測方法：自上而下和自下而上。盡管自上而下和自下而上的方法在深度學習時代之前都很流行，但目前，對象檢測方法的大多數都遵循自上而下的方法；自下而上的方法是最近才提出的。本文圍繞這兩類思路，開展了研究討論。
目標檢測中的四大類數據不均衡問題
主要幾種在類別不均衡、尺度不均衡、空間不均衡、優化目標不均衡，詳細如下圖所示，基於四大類不均衡問題又擴展成8類子問題：前景背景類別不均衡、前景和前景類別不均衡、物體/box尺度上的不均衡、特征層的不均衡、回歸損失下的不均衡、IOU分布不均衡、物體位置的不均衡、優化目標的不均衡。
1、類別不均衡
這個問題可以表現為“前景-背景不平衡”，其中背景實例的數量明顯超過正實例；或者“前景-前景不平衡”，其中通常只有一小部分類占整個數據集的一大部分。類不平衡通常在檢測pipelines中的“采樣”階段處理。
2、尺度不均衡
當對象實例具有不同的比例和與不同比例相關的不同數量時，可以觀察到尺度比例不平衡。這個問題是物體在本質上具有不同維度這一事實的自然結果。規模也可能導致特征級別的不平衡（通常在“特征提取”階段處理），不同抽象層（即高級別和低級別）的貢獻不平衡。尺度不平衡問題表明，單一尺度的視覺處理不足以檢測不同尺度的目標。
3、空間不均衡
空間不平衡是指與bounding box的空間屬性相關的一組因素。基於這些空間性質，我們確定了三種空間不平衡的亞類型：（i）“回歸損失不平衡”是關於個別例子對回歸損失的貢獻，與損失函數設計有關（ii）“IoU分布不平衡”（iii）“物體位置不平衡”
4、優化目標不均衡
當有多個目標（損失函數）要最小化時（每個目標用於特定任務，例如分類和框回歸），就會出現目標不平衡。由於不同的目標在其范圍和最佳解決方案方面可能不兼容，因此必須制定一個平衡的策略，以找到一個所有目標都可接受的解決方案。
類別不均衡及解決方法
1、 前景背景不均衡
在前景背景類不平衡的情況下，過表示類和欠表示類分別是背景類和前景類。這種類型的問題是不可避免的，因為大多數邊界框被邊界框匹配和標記模塊標記為背景（即負）類。前景背景不平衡問題發生在訓練期間，並且不依賴於數據集中每個類的示例數，因為它們不包括背景上的任何注釋。
我們可以將背景類不平衡的解決方案分為四類：（i）硬采樣方法，（ii）軟采樣方法，（iii）無采樣方法和（iv）生成方法，詳細方法匯總如下圖所示：
硬采樣的思路：設置指定數量或者比例的正負樣本（RCNN系列）。
軟采樣的思路：軟抽樣通過對訓練過程的相對重要性來調整每個樣本的貢獻（設定樣本損失權重）。
無采樣方式：設立新的分支，根據前面的樣本，預測后面樣本的權重。
生成方法：主要基於GAN。
2、前景前景不均衡
主要集中在數據集上的類別不均衡，和每個bacth內的類別不均衡。
基於類別不均衡，論文闡述此情況不可避免，可以通過生成新的圖像和類別進行解決。
基於batch內的類別不均衡：可以使用在線前景均衡（OFB）抽樣，通過給每個要抽樣的bounding box分配概率，可以在批處理級別上緩解前景類不平衡問題，從而使批處理中不同類的分布是均勻的。換言之，該方法旨在提升抽樣過程中陽性樣本數較少的類。雖然該方法是有效的，但性能改善並不顯著。
尺度不均衡及解決方法
object/box級別的比例不平衡，主要包括物體和輸入box的比例分布不平衡以及特征不平衡（分析了特征提取層存在的問題，並對金字塔特征提取方法進行了研究）
1、基於box/物體尺度的不均衡問題
當對象或輸入bounding box的某些大小在數據集中過度表示時，會發生尺度平衡。已經證明，這會影響總體檢測性能。下圖顯示了MS-COCO數據集中對象的相對寬度、高度和面積；
解決方法主要包括：基於backbone特征層次的預測方法、基於特征金字塔的方法、圖像金字塔方式、圖像金字塔與特征金字塔相結合的方法。
2、特征層次的不平衡
針對FPN結構中的特征層次，有幾種方法可以解決FPN體系結構中的不平衡問題，從設計改進的自頂向下通道連接到完全新穎的體系結構。論文考慮了使用新的架構來緩解特征級不平衡問題的方法，根據它們作為基礎的用途將它們分為兩類：使用金字塔或backbone特征作為bias。
空間不均衡及解決方法
尺寸、形狀、位置（相對於圖像或另一個框）和IoU是邊界框的空間屬性。這些屬性的任何不平衡都可能影響訓練和泛化性能。例如，如果不采用適當的損失函數，位置的輕微變化可能導致回歸（局部化）損失的劇烈變化，從而導致損失值的不平衡。在這一部分中，我們將具體討論這些空間屬性和回歸損失問題。
1、回歸損失的不均衡
目標檢測的回歸損失主要有兩類：第一類是基於Lp-norm-based（例如L1，L2）的損失函數，第二個是基於IoU的損失函數。上表顯示了廣泛使用的回歸損失函數的比較。（不斷解決了各類損失函數優化問題）
2、IoU分布的不均衡
解決方式：Cascade R-CNN、Hierarchical Shot Detector (HSD)、IoU-uniform R-CNN、pRoI Generator
3、物體位置的不均衡
主要從anchor的尺寸和位置着手優化。
優化目標不均衡及解決方法
目標不平衡是指在訓練過程中最小化的目標（損失）函數。通過定義，目標檢測需要多任務丟失，以便同時解決分類和回歸任務。然而，不同的任務可能會導致不平衡，這是因為以下的差異：（i）梯度的規范對於任務可能是不同的，並且一個任務可以支配訓練。（二）不同任務的損失函數范圍不同，影響任務的一致性和均衡性優化。（iii）任務的難度可能不同，這會影響學習任務的速度，從而阻礙訓練過程。
解決方法：最常見的解決方案是任務權重，它通過一個額外的超參數作為權重因子來平衡損失項。使用驗證集選擇超參數。當然，增加任務的數量，就像兩級檢測器一樣，會增加權重因子的數量和搜索空間的維度（注意，兩級檢測器中有四個任務，一級檢測器中有兩個任務）。由多任務性質引起的一個問題是不同的函數之間可能存在一致性。對於例如，在AP損耗中，smooth L1（由於損耗的輸入通常在應用對數變換后提供）與[0，∞）一起用於回歸，而LAP∈[0,1]。另一個例子是GIoU loss，它在[-1,1]范圍內，與交叉熵損失一起使用。作者將GIoU loss的權重因子設為10，並利用正則化方法來平衡這種幅度差異，保證訓練的均衡性。