ICLR 2022 | 阿里提出目標檢測新范式GiraffeDet：輕骨干、重Neck

https://mp.weixin.qq.com/s/sLWFjP1K_f6992Ot51grFg

轉載自：極市平台  |  作者：happy

導讀

 

本文是阿里巴巴在目標檢測領域的工作(已被ICLR2022接收)，提出了一種新穎的類“長頸鹿”的GiraffeDet架構，它采用了輕骨干、重Neck的架構設計范式。所提GiraffeDet在COCO數據集上取得了比常規CNN骨干更優異的性能，取得了54.1%mAP指標，具有更優異的處理目標大尺度變化問題的能力。 

GiraffeDet: A Heavy-Neck Paradigm for Object Detection 

論文鏈接：https://arxiv.org/abs/2202.04256

ICLR2022：

https://openreview.net/forum?id=cBu4ElJfneV

Abstract

常規目標檢測方案往往采用重骨干+輕Neck模式，即骨干部分的計算量占據主導地位(這種設計源自歷史遺留問題，即骨干網絡往往需要從圖像識別模型進行遷移，而非針對目標檢測進行端到端設計)。這種檢測架構設計會導致次優性能。

為此，我們提出了一種新的重Neck架構GiraffeDet(類長頸鹿網絡)用於高效目標檢測，GiraffeDet采用超輕量骨干與非常深且大的Neck模塊。這種設計范式允許檢測器即使在網絡早期階段也能夠以相同的優先級處理高層語義信息與底層空間信息，使其對檢測而言更為高效。多主流檢測基准數據集上的結果表明：相比其他SOTA模型，GiraffeDet在不同資源約束下均能取得一致的性能優勢。

貢獻

• 本文提出了首個輕骨干+靈活FPN組合的檢測器，所提GiraffeDet包含一個輕量S2D-chain骨干與一個Generalized-FPN並取得了SOTA性能；
• 不同常規骨干，本文設計了一種輕量型S2D-chain骨干，同時通過可控實驗證實：相比常規骨干，FPN對於檢測模型更為重要；
• 提出GFPN(Generalized-FPN)以跨尺度連接方式對前一層與當前層的特征進行融合，跳層連接提供了更有效的信息傳輸，同時可以擴展為更深的網絡；
• 在不同FLOPs-性能均衡下，所提GiraffeDet均取得了優異性能。當搭配多尺度測試時，GiraffeDet-D29在COCO數據集上取得了54.1%mAP指標，超越了其他SOTA方案。

出發點

本文的出發點有兩個：

• 圖像分類任務的骨干是檢測模型所不可或缺的嗎？
• 什么樣類型的多尺度表達對於檢測任務更為有效？

Method

為達成更高效、更充分的多尺度信息交換，本文提出了GiraffeDet用於高效目標檢測，giraffe包含輕量space-to-depth chain、Generalized-FPN以及預測網絡，整體架構如上圖所示，它延續了一階段檢測設計范式。

Lightweight Space-to-Depth Chain

大多特征金字塔網絡以常規CNN骨干提取的多尺度特征為基礎上進行特征融合。然而，隨着CNN的發展，骨干網絡變得越來越大，計算量越來越高。此外，這些骨干網網絡采用ImageNet進行預訓練。我們認為：這些預訓練骨干並不是喲用於檢測任務，仍存在域漂移(domain-shift)問題。另外，FPN更多聚焦於高層語義信息與底層空域信息的交互。因此，我們認為：相比常規骨干，FPN在檢測模型中的作用更為重要。

受啟發於PiexelShuffle與FRVSR，我們提出了Space-to-Depth Chain(S2D Chain)作為輕量骨干網絡，它包含兩個  卷積與堆疊S2D-chain模塊。具體來說，卷積用於初始的下采樣並引入更多非線性變換；每個S2D-chain模塊包含一個S2D層與一個  卷積。S2D將更多的空域信息移動到深度維度，同時可以起到無參下采樣作用。然后采用卷積提供通道相關池化以生成固定維度特征。下圖給出了本文基於S2D模塊所設計的輕量型骨干架構示意圖。

Generalized-FPN

FPN旨在對CNN骨干網絡提取的不同分辨率的多尺度特征進行融合。上圖給出了FPN的進化，從最初的FPN到PANet再到BiFPN。我們注意到：這些FPN架構僅聚焦於特征融合，缺少了塊內連接。因此，我們設計了一種新的路徑融合：包含跳層與跨尺度連接，見上圖d。

Skip-layer Connection 相比其他連接方法，在反向傳播過程中跳過連接具有更短的距離。為避免GiraffeDet的重Neck設計的梯度消失問題，我們提出了一種特征連接方案：稠密連接與連接，見上圖。

• Dense-link：受啟發於DenseNet，對於k級的每個尺度特征,第l層接收前面所有層面的特征，描述如下：

•  -link：具體來說，在k級，第l層最多接收層前置特征，可描述如下：

相比稠密連接，所提  -link的復雜度為，而非。此外，在反向傳播過程中， -link僅將最短距離從1提升到了。因此， -link可以擴展到更深的網絡。

Cross-scale Connection 基於所提假設，我們設計的充分信息交互應當不僅包含跳層連接，同時還包含跨尺連接以克服大尺度變化。因此，我們提出一種新的跨尺度融合Queen-fusion，見上圖b。注：我們采用雙線性插值與最大值池化進行特征上采樣與下采樣。

在極限大尺度變化場景下，它需要模型能充分進行高層與底層信息交互。基於跳層與跨尺度連接機制，所提GFPN能夠盡可能擴展，類似於Giraffe Neck。基於這種的重Neck與輕骨干設計，所提GiraffeDet可以更好的平衡高精度與高效率。

GiraffeDet Family

按照所提S2D-chain與GFPN，我們開發了一類GiraffeDet模型以滿足不同資源約束。已有方案通過對骨干進行縮放調整模型大小，而GiraffeDet則聚焦於調整Neck部分。具體來說，我們采用兩個系數調整GFPN的深度與寬度：

上表給出了本文所設計的不同大小的GiraffeDet縮放系數信息，它們具有與ResNet系列模型相當的FLOPs。下圖還給出了S2D chain-BiFPN-D29以及S2D-chain  GFPN-D11的架構示意圖(這里的Neck部分的箭頭連接好像有點問題)。

Experiments

在具體實現方面，GiraffeDet采用了GFocalV2作為檢測頭，采用ATSS進行標簽分配。為增強從頭開始訓練的穩定性，我們采用了多尺度訓練。相關訓練超參見上表。

上表給出了所提GiraffeDet與其他方案的性能對比，從中可以看到：

• 相比已有檢測器，在相同FLOPs水平，GiraffeDet取得了更優的性能，這意味着：所提方案可以更有效、更高效地檢測目標；
• 相比ResNet方案，盡管整體性能提升不明顯，但小目標與大目標檢測提升非常明顯，這意味着：所提方案可以更好的處理大尺度變化問題；
• 相比ResNeXt方案，GiraffeDet具有更高的性能，這意味着：好的FPN設計比骨干更重要；
• 相比其他方案，所提GiraffeDet同樣SOTA性能，進一步證實：所提方案具有更高精度、更高效率；
• 搭配多尺度測試時，所提GiraffeDet取得了54.1%mAP，小尺度AP提升2.8%，大尺度AP提升2.3%，均高於中尺度的1.9%提升。

從上圖可以看到：所提GiraffeDet在不同像素尺度范圍均取得了最佳性能，這意味着：輕骨干+重Neck的設計可以更有效的解決大尺度變化問題。同時，受益於跳層與跨尺度攔截，高層語義信息與底層空域信息可以進行更充分的信息交互。在0-32尺度下，GiraffeDet比RetinaNet指標高5.7%mAP；在80-144尺度下，GiraffeDet同樣高出5.7%mAP；在192-256尺度下，所提GiraffeDet仍超越了其他檢測方案。這說明：GiraffeDet可以更有效的學習尺度敏感特征。

Ablation Study

GiraffeDet的成功源自架構的設計以及每個模塊的技術升級。為更好的分析GiraffeDet每個模塊的作用，我們進行了一系列消融實驗。

Connection Analysis 上表對比了Neck部分不同連接方式的性能對比，從中可以看到：

• 相比基礎版本PANet與BiFPN，堆疊版本可以進一步提升其性能，這說明了FPN架構中信息交換的重要性；
• 相比BiFPN，GFPN-dense與GFPN-log2n均表現出了更高的性能提升，證實了所提GiraffeDet更高效；甚至移除跳層連接，所提GFPN仍具有更優性能；
• 相比GFPN-dense，GFPN-log2n方式具有更優的性能。這說明：log2n連接方式可以提供更有效的信息傳遞，同時它可以在同FLOPs水平下達成更深的GFPN設計；
• 總而言之，所提GiraffeDet可以取得更優的性能，證實了Queen-fusion可以獲得更充分的高層與底層信息交互。

上表從Neck的深度與寬度角度進行了對比分析，從中可以看到：所提GFPN在不同深度與寬度水平均優於FPN，這說明：log2n連接與Queen-fusion可以更有效的提供信息傳遞與交互。

在同FLOPs水平下，上圖比較了不同Neck深度與不同骨干的性能，可以看到：

• S2D-chain+GFPN的組合取得了優於其他骨干的性能，這驗證了我們的假設：相比常規骨干，FPN對於檢測性能更重要；
• ResNet+GFPN組合時，伴隨骨干部分變大，模型的性能會下降。我們認為：這可能源自於域漂移問題。

從上表5可以看到：當引入DCN后，GiraffeDet的性能可以進一步提升，GiraffeDet-D11+DCN甚至可以取得比GiraffeDet-D16更優的性能；

從上表6可以看到：在相當推理速度下，GFPN-tiny搭配DCN增強骨干時可以改善模型性能；隨GFPN的深度提升，模型性能可以進一步提升；

上圖與表給出了同等FLOPs水平下所提GiraffeDet與ResNet-FPN-GFocalV2的速度-性能對比，從中可以看到：

• GiraffeDet取得了顯著性能提升，同時具有相近的推理速度；
• 以FPS作為參考，GiraffeDet的性能下降更慢。

上表對比了骨干為ResNet18時不同Neck的性能，可以看到：

• 在同等FLOPs水平下，所提GFPN具有比BiFPN更優的性能；
• 檢測器性能會隨GFPN的深度增加而進一步提升。

最后附上不同檢測器檢測效果對比，從中可以看到：總而言之，所有方法都能從圖像中檢測到實例。但是，GiraffeDet可以檢測到更多實例，尤其在小目標檢測方面表現更佳。這進一步驗證了所提GFPN架構在目標大尺度變化方面的優秀處理能力。