圖1：YOLOX和其他最先進的物體檢測器在移動設備上精確模型的速度-精度權衡(上)和精簡模型的尺寸-精度曲線(下)。
在本報告中，我們介紹了對YOLO系列進行了有經驗的改進，形成了一種新的高性能檢測器——YOLOX。我們將YOLO檢測器切換到無錨方式，並進行其他先進的檢測技術，即解耦頭和領先的標簽分配策略SimOTA，讓模型在目前大尺度物體檢測中取得最好的結果:對於YOLO-Nano僅用0.91M參數和1.08G FLOPs，我們在COCO上獲得25.3%的AP，超過NanoDet 1.8%的AP；對於工業上應用最廣泛的探測器之一YOLOv3，我們在COCO上將其提升至47.3% AP，比目前的最佳實踐高出3.0% AP；對於參數量與YOLOv4CSP、YOLOv5-L大致相同的YOLOX-L，我們在COCO上實現了50.0%的AP，在特斯拉 V100上的速度為68.9 FPS，超過YOLOv5-L 1.8%的AP。此外，還憑借YOLOX-L模型贏得了流媒體感知挑戰賽(2021 CVPR自動駕駛研討會)的第一名。希望這份報告能為開發者和研究人員在實際場景中提供有益的經驗，我們還提供了支持ONNX、TensorRT、NCNN和Openvino的部署版本。源代碼：https://github.com/Megvii-BaseDetection/YOLOX。
1、引言
隨着目標檢測的發展，YOLO系列[23，24，25，1，7]始終追求實時應用的最佳速度和精度平衡。他們提取當時可用的最先進的檢測技術(例如，針對YOLOv2 [24]的錨[26]、針對YOLOv3 [25]的殘差網絡[9])，並針對最佳實踐優化實施。目前，YOLOv5 [7]在13.7 ms的COCO上以48.2%的AP保持了最佳的折衷性能。
然而，在過去的兩年中，目標檢測學術界的主要進展集中在無錨檢測器[29，40，14]，高級標簽分配策略[37，36，12，41，22，4]和端到端(無NMS)檢測器[2，32，39]。這些尚未融入YOLO家庭，如YOLOv4和YOLOv5仍然是基於錨的檢測器，具有手工制作的訓練分配規則。
這就是我們來到這里的原因，通過經驗豐富的優化為YOLO系列帶來了最新的進步。考慮到YOLOv4和YOLOv5對於基於錨點的通道可能有些過度優化，我們選擇YOLOv3 [25]作為我們的起點(我們將YOLOv3-SPP設置為默認的YOLOv3)。事實上，由於各種實際應用中的計算資源有限和軟件支持不足，YOLOv3仍然是行業中使用最廣泛的檢測器之一。
如圖1所示，隨着上述技術的經驗更新，我們在COCO上以640 × 640的分辨率將YOLOv3提升到47.3% AP (YOLOX-DarkNet53)，大大超過了目前YOLOv3的最佳實踐(44.3% AP，ultralytics版)。此外，當切換到采用先進CSPNet [31]主干和額外PAN [19]頭的先進YOLOv5架構時，YOLOX-L在640 × 640分辨率的COCO上實現了50.0%的AP，比對應的YOLOv5-L高出1.8%的AP。我們也在小尺寸的模型上測試我們的設計策略。YOLOX-Tiny和YOLOX-Nano(僅0.91M參數和1.08G FLOPs)的性能分別比對應的YOLOv4-Tiny和NanoDet3by高出10% AP和1.8% AP。
我們已經在https://github.com/Megvii-BaseDetection/YOLOX上發布了我們的代碼。支持ONNX、TensorRT、NCNN和Openvino。還有一點值得一提，我們使用一款YOLOX-L車型贏得了流媒體感知挑戰賽(2021 CVPR自動駕駛研討會)的第一名。
2、YOLOX
2.1 YOLOX-DarkNet53
我們選擇YOLOv3 [25]，以Darknet53為基線。在接下來的部分，我們將一步一步地在YOLOX中遍歷整個系統設計。
實現細節 從基線到最終模型，我們的訓練設置基本一致。我們在COCO train2017上對模型進行了總共300個時期的訓練，其中包括5個時期的預熱[17]。我們使用隨機梯度下降進行訓練。我們使用的學習速率為lr×BatchSize/64(線性縮放[8])，初始化lr = 0.01，lr隨着時間余弦變化。權重衰減為0.0005，SGD動量為0.9。默認情況下，典型的8-GPU設備的批處理大小為128。包括單個GPU訓練在內的其他批處理大小也運行良好。輸入大小從448到832均勻繪制,步長32。本報告中的FPS和延遲都是在單個特斯拉V100上用FP16-precision和 batch=1測量的。
表1:以AP (%)表示的端到端YOLO解耦頭對COCO的影響。
YOLOv3基准線 我們的基線采用了DarkNet53主干和SPP層的架構，在一些論文中被稱為yolov3-SPP[1，7]。與最初的實現相比，我們稍微改變了一些訓練策略[25]，增加了均線權重更新、余弦lr調度、IoU損失和IoU感知分支。我們將BCE損失用於訓練cls和obj分支，將IoU損失用於訓練reg分支。這些常規訓練技巧與YOLOX的關鍵改進是正交的，因此我們將其放在基線上。我們只進行RandomHorizontalFlip、ColorJitter和多尺度數據增強，並放棄RandomResizedCrop策略，因為我們發現RandomResizedCrop與計划的鑲嵌增強有點重疊。通過這些增強，我們的基線在COCO val上實現了38.5%的AP，如表2顯示。
解耦頭 在目標檢測中，分類和回歸任務之間的沖突是一個眾所周知的問題[27，34]。因此，用於分類和定位的解耦頭廣泛用於大多數單級和兩級檢測器[16，29，35，34]。然而，作為YOLO系列的主干和特征金字塔(例如，FPN [13]，PAN[20])。)不斷發展，它們的檢測頭保持耦合，如圖2所示。
我們的兩個分析實驗表明，耦合探測頭可能會損害性能。1).如圖3所示，用解耦的頭代替YOLO的頭大大提高了收斂速度。2).解耦的頭部對於端到端版本的YOLO是必不可少的(將在下面描述)。從表1就能看出來。端對端特性隨着耦合頭降低4.2%的AP，而對於解耦合頭降低到0.8%的AP。因此，我們用如圖2所示的lite去耦頭代替YOLO檢測頭。具體來說，它包含一個1 × 1 卷積層以減小通道尺寸，其后是兩個平行分支，分別有兩個3 × 3 卷積層。我們在表2的V100上報告batch=1的推斷時間，lite去耦頭帶來額外的1.1 ms (11.6 ms v.s. 10.5 ms)
圖2:說明YOLOv3頭部和建議的去耦頭部之間的差異。對於每一級FPN特征，我們首先采用1 × 1 卷積層將特征通道減少到256個，然后添加兩個平行分支，每個分支有兩個3 × 3 卷積層，分別用於分類和回歸任務。在回歸分支上增加了IoU分支。
圖3:帶有YOLOv3頭或去耦頭的檢測器的訓練曲線。我們每10個時代在COCO val上評估一次AP。解耦磁頭比YOLOv3磁頭收斂得更快，最終獲得更好的結果。
強數據增強 我們將Mosaic和MixUp添加到我們的增強策略中，以提高YOLOX的性能。Mosaic是ultralytics-YOLOv3提出的一種有效的擴增策略。然后，它被廣泛用於YOLOv4 [1]、YOLOv5 [7]和其他檢測器[3]。MixUp [10]最初是為圖像分類任務而設計的，但在對象檢測訓練中，MixUp[38]的任務是很復雜的。我們在模型中采用了MixUp和Mosaic實現，並在過去15個時期關閉了它，在表2中實現了42.0%的AP。在使用強大的數據增強后，我們發現ImageNet預訓練不再有任何益處，因此我們從頭開始訓練以下所有模型。
無錨框 YOLOv4 [1]和YOLOv5 [7]都遵循YOLOv3 [25]的基於錨的原始管道。然而，錨機制有許多已知的問題。首先，為了獲得最佳檢測性能，需要在訓練之前進行聚類分析以確定一組最佳錨。這些群集錨是特定於領域的，不太一般化。第二，錨機制增加了檢測頭的復雜性，以及每個圖像的預測數量。在一些邊緣人工智能系統中，在設備之間移動如此大量的預測(例如，從NPU到中央處理器)可能會成為總延遲的潛在瓶頸。
無錨探測器[29，40，14]在過去兩年中發展迅速。這些工作表明，無錨探測器的性能可以與基於錨的探測器相媲美。無錨機制顯著減少了需要啟發式調整的設計參數數量和涉及的許多技巧(例如，錨聚類[24]，網格敏感[11])。)為了獲得良好的性能，使檢測器，尤其是其訓練和解碼階段變得相當簡單[29]。
將YOLO切換到無錨模式非常簡單。我們將每個位置的預測從3減少到1，並使它們直接預測四個值，即網格左上角的兩個偏移量，以及預測框的高度和寬度。我們將指派每個對象的中心位置作為正樣本，並預先定義一個標度范圍，如[29]中所做的，以指定每個對象的FPN水平。這種修改減少了檢測器的參數和GFLOPs，使其更快，但獲得了更好的性能：42.9%的AP，如表2所示。
表2:YOLOX-Darknet 53在COCO val上的AP (%)路線圖。所有模型均以640×640分辨率進行測試，在特斯拉V100上的FP16-precision和batch=1。該表中的延遲和FPS是在沒有后處理的情況下測量的。
多正樣本 為了與YOLOv3的分配規則保持一致，上述無錨點版本只為每個對象選擇一個正樣本(中心位置)，同時忽略其他高質量預測。然而，優化那些高質量的預測也可能帶來有益的梯度，這可能緩解訓練期間正/負采樣的極端不平衡。我們簡單地將中心3×3區域指定為正樣本，在FCOS也稱為“中心采樣”。檢測器的性能提高到45.0% AP，如表2所示，已經超過了ultralytics-YOLOv3的當前最佳實踐(44.3% AP)。
SimOTA 高級標簽分配是近年來目標檢測的又一重要進展。基於我們自己的研究OTA [4]，我們總結了高級標簽分配的四個關鍵見解:1)損失/質量意識，2)居中在先，3)每個真實地面的正錨點的動態數量4(縮寫為動態top-k)，4)全局視圖。OTA滿足上述四個規則，因此我們選擇它作為候選標簽分配策略。
具體而言，OTA [4]從全局角度分析標簽分配，並將分配過程公式化為最優傳輸(OT)問題，產生當前分配策略中的SOTA性能[12，41，36，22，37]。然而，在實踐中我們發現通過sinkorn-Knopp算法解決OT問題會帶來25%的額外訓練時間，這對於訓練300個紀元來說是相當昂貴的。因此，我們將其簡化為動態top-k策略，命名為SimOTA，以獲得近似解。
我們在這里簡單介紹一下SimOTA。SimOTA首先計算成對匹配度，由每個預測gt對的成本[4，5，12，2]或質量[33]表示。例如，在SimOTA中，gt gi和預測pj之間的成本計算如下:
其中λ是平衡系數。L_{ij}^{cls}和L_{ij}^{reg}是gt g_i和預測p_j之間的分類損失和回歸損失。然后，對於gt g_i，我們選擇固定中心區域內成本最小的前k個預測作為其正樣本。最后，那些正預測的對應網格被指定為正，而其余網格為負。請注意，k值因不同的基本事實而異。詳情請參考OTA [4]中的動態k估計策略。
SimOTA不僅減少了訓練時間，而且避免了Sinkhorn-Knopp算法中額外的求解超參數。如表2所示，SimOTA將探測器從45.0% AP提高到47.3% AP，比SOTA ultralytics-YOLOv3高3.0% AP，展示了高級分配策略的威力。
端到端YOLO 我們按照[39]添加兩個額外的conv層，一對一的標簽分配和停止梯度。這些使檢測器能夠以端到端的方式執行，但會略微降低性能和推理速度，如表2中所列。因此，我們將其作為一個可選模塊，不包含在最終模型中。
2.2 其他骨干網絡
除了DarkNet53，我們還在其他不同大小的主干上測試YOLOX，其中YOLOX相對於所有對應的主干實現了一致的改進。
表3:在COCO上用AP (%)比較YOLOX和YOLOv5。所有模型均以640 × 640分辨率進行測試，在特斯拉V100上的FP16-precision和batch=1。
表4:YOLX-Tiny和YOLX-Nano與COCO val上對應的AP (%)的比較。所有模型均以416 × 416分辨率進行測試。
修改YOLOv5里的CSPNet 為了進行公平的比較，我們采用了精確的YOLOv5主干，包括修改的CSPNet [31]、路斯激活和PAN [19]頭。我們也遵循其縮放規則來生產YOLOXS、YOLOX-M、YOLOX-L和YOLOX-X型號。與選項卡中的YOLOv5相比。3、我們的模型獲得了一致的改進，從3.0%到1.0%，只有邊際時間增加(來自解耦的頭部)。
Tiny和Nano檢測器 我們將我們的模型進一步縮小為YOLOX-Tiny，以與YOLOv4-Tiny進行比較[30]。對於移動設備，我們采用深度方向卷積構建了一個YOLOX-Nano模型，該模型只有0.91M的參數和1.08G的FLOPs。如表4所示，YOLOX性能良好，模型尺寸甚至比同類產品更小。
模型大小和數據增強 在我們的實驗中，所有的模型保持幾乎相同的學習進度和優化參數，如2.1所示。然而，我們發現不同尺寸的模型中，合適的增強策略是不同的。如表5顯示，雖然對YOLOX-L應用MixUp可以提高0.9%的AP，但對YOLOX-Nano這樣的小型號來說，削弱增強效果更好。具體來說，我們在訓練小模型，即YOLOX-S、YOLOX-Tiny和YOLOX-Nano時，去掉了混疊增強，弱化了馬賽克(將比例范圍從[0.1，2.0]縮小到[0.5，1.5])。這樣的修改將YOLOX-Nano的AP從24.0%提高到25.3%。
對於大型模型，我們還發現增強更強更有幫助。事實上，我們的MixUp實現是比[38]中的原始版本更重的一部分。受復制粘貼[6]的啟發，我們在混合圖像之前，通過隨機采樣的比例因子對兩幅圖像進行抖動。為了理解混合和縮放抖動的威力，我們將其與YOLOX-L上的復制粘貼進行比較。注意，復制粘貼需要額外的實例掩碼注釋，而混合不需要。但是如表5所示，這兩種方法實現了有競爭力的性能，這表明當沒有實例掩碼注釋可用時，帶有比例抖動的MixUp是copy pastewhen的一個合格的位置。
表5:不同模型規模下數據擴充的效果。“規模准時。”代表鑲嵌圖像的比例抖動范圍。當采用復制粘貼時，使用來自COCO trainval的實例掩碼注釋。
3、和SOTA比較
有一個傳統，顯示SOTA比較表，如表6.但是，請記住，此表中模型的推斷速度通常不受控制，因為速度因軟件和硬件而異。因此，我們對圖1中的所有YOLO系列使用相同的硬件和代碼庫，繪制了稍微受控的速度/精度曲線。
我們注意到有一些高性能的YOLO系列具有更大的模型尺寸，如Scale-YOLOv4 [30]和YOLOv5-P6 [7]。基於電流互感器的檢測器[21]將精度-SOTA推到了∨60ap。由於時間和資源的限制，我們沒有探索那些重要的壯舉。
4、流媒體感知挑戰第一名（CVPR2021 WAD)
WAD 2021上的流感知挑戰是通過最近提出的指標:流准確性對准確性和延遲進行的聯合評估[15]。這個度量標准的關鍵洞察是在每個時刻聯合評估整個感知堆棧的輸出，迫使堆棧考慮在進行計算時應該忽略的流數據量[15]。我們發現在30 FPS數據流上度量的最佳折衷點是推理時間≤ 33ms的強大模型。因此，我們采用了帶有TensorRT的YOLOX-L模型來生產我們的最終模型，以應對贏得第一名的挑戰。有關更多詳細信息，請參考挑戰網
5、結論
在本報告中，我們介紹了YOLO系列的一些經驗豐富的更新，它形成了一個高性能的無錨探測器，稱為YOLOX。YOLOX配備了一些最新的先進檢測技術，即去耦頭、無錨和先進的標簽分配策略，在速度和精度之間取得了比所有模型尺寸的其他同類產品更好的平衡。值得注意的是，我們將YOLOv3的架構提升到COCO上的47.3% AP，比當前的最佳實踐高出3.0% AP，yolov 3由於其廣泛的兼容性，仍然是業界使用最廣泛的檢測器之一。我們希望這份報告能夠幫助開發者和研究人員在實際場景中獲得更好的體驗。
參考
[1] Alexey Bochkovskiy, Chien-Yao Wang, and Hong-Y uan Mark Liao. Y olov4: Optimal speed and accuracy of object detection. arXiv preprint arXiv:2004.10934, 2020. 1,2, 3, 6
[2] Nicolas Carion, Francisco Massa, Gabriel Synnaeve, Nicolas Usunier, Alexander Kirillov, and Sergey Zagoruyko. End-to-end object detection with transformers. In ECCV, 2020. 1,4
[3] Qiang Chen, Yingming Wang, Tong Yang, Xiangyu Zhang,Jian Cheng, and Jian Sun. Y ou only look one-level feature.In CVPR, 2021. 3
[4] Zheng Ge, Songtao Liu, Zeming Li, Osamu Y oshie, and Jian Sun. Ota: Optimal transport assignment for object detection.In CVPR, 2021. 1, 4
[5] Zheng Ge, Jianfeng Wang, Xin Huang, Songtao Liu, and Os-amu Y oshie. Lla: Loss-aware label assignment for dense pedestrian detection. arXiv preprint arXiv:2101.04307,2021，4
[6] Golnaz Ghiasi, Yin Cui, Aravind Srinivas, Rui Qian, Tsung-Yi Lin, Ekin D Cubuk, Quoc V Le, and Barret Zoph. Simple copy-paste is a strong data augmentation method for instance segmentation. In CVPR, 2021. 5
[7] glenn jocher et al. yolov5. https://github.com/ultralytics/yolov5, 2021. 1, 2, 3, 5, 6
[8] Priya Goyal, Piotr Dollár, Ross Girshick, Pieter Noord-huis, Lukasz Wesolowski, Aapo Kyrola, Andrew Tulloch,Yangqing Jia, and Kaiming He. Accurate, large mini-batch sgd: Training imagenet in 1 hour. arXiv preprint arXiv:1706.02677, 2017. 2
[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, and Jian Sun.Deep residual learning for image recognition. In CVPR,2016.1
[10] Zhang Hongyi, Cisse Moustapha, N. Dauphin Yann, and David Lopez-Paz. mixup: Beyond empirical risk minimization. ICLR, 2018. 3
[11] Xin Huang, Xinxin Wang, Wenyu Lv, Xiaying Bai, Xiang Long, Kaipeng Deng, Qingqing Dang, Shumin Han, Qiwen Liu, Xiaoguang Hu, et al. Pp-yolov2: A practical object detector. arXiv preprint arXiv:2104.10419, 2021. 3, 6
[12] Kang Kim and Hee Seok Lee. Probabilistic anchor assignment with iou prediction for object detection. In ECCV,2020.1, 4
[13] Seung-Wook Kim, Hyong-Keun Kook, Jee-Y oung Sun,Mun-Cheon Kang, and Sung-Jea Ko. Parallel feature pyra-mid network for object detection. In ECCV, 2018. 2
[14] Hei Law and Jia Deng. Cornernet: Detecting objects aspaired keypoints. In ECCV, 2018. 1, 3
[15] Mengtian Li, Y uxiong Wang, and Deva Ramanan. Towards streaming perception. In ECCV, 2020. 5, 6
[16] Tsung-Yi Lin, Priya Goyal, Ross Girshick, Kaiming He, and Piotr Dollár. Focal loss for dense object detection. In ICCV,2017,2
[17] Tsung-Yi Lin, Michael Maire, Serge Belongie, James Hays,Pietro Perona, Deva Ramanan, Piotr Dollár, and C Lawrence Zitnick. Microsoft coco: Common objects in context. In ECCV, 2014. 2
[18] Songtao Liu, Di Huang, and Y unhong Wang. Learning spatial fusion for single-shot object detection. arXiv preprintarXiv:1911.09516, 2019. 6
[19] Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia.Path aggregation network for instance segmentation. In CVPR, 2018. 2, 5
[20] Shu Liu, Lu Qi, Haifang Qin, Jianping Shi, and Jiaya Jia.Path aggregation network for instance segmentation. In CVPR, 2018. 2
[21] Ze Liu, Y utong Lin, Y ue Cao, Han Hu, Yixuan Wei,Zheng Zhang, Stephen Lin, and Baining Guo. Swin transformer: Hierarchical vision transformer using shifted windows. arXiv preprint arXiv:2103.14030, 2021. 5
[22] Y uchen Ma, Songtao Liu, Zeming Li, and Jian Sun. Iqdet:Instance-wise quality distribution sampling for object detec-tion. In CVPR, 2021. 1, 4
[23] Joseph Redmon, Santosh Divvala, Ross Girshick, and AliFarhadi. Y ou only look once: Unified, real-time object de-tection. In CVPR, 2016. 1 [24] Joseph Redmon and Ali Farhadi. Y olo9000: Better, faster,stronger. In CVPR, 2017. 1, 3
[25] Joseph Redmon and Ali Farhadi. Y olov3: An incrementalimprovement. arXiv preprint arXiv:1804.02767, 2018. 1, 2,3 [26] Shaoqing Ren, Kaiming He, Ross Girshick, and Jian Sun.Faster r-cnn: Towards real-time object detection with region proposal networks. In NeurIPS, 2015. 1
[27] Guanglu Song, Y u Liu, and Xiaogang Wang. Revisiting the sibling head in object detector. In CVPR, 2020. 2
[28] Mingxing Tan, Ruoming Pang, and Quoc V Le. Efficientdet:Scalable and efficient object detection. In CVPR, 2020. 6
[29] Zhi Tian, Chunhua Shen, Hao Chen, and Tong He. Fcos:Fully convolutional one-stage object detection. In ICCV,2019.1, 2, 3, 4
[30] Chien-Yao Wang, Alexey Bochkovskiy, and HongY uan Mark Liao. Scaled-yolov4: Scaling cross stage partial network. arXiv preprint arXiv:2011.08036, 2020. 1, 5, 6
[31] Chien-Yao Wang, Hong-Y uan Mark Liao, Y ueh-Hua Wu,Ping-Yang Chen, Jun-Wei Hsieh, and I-Hau Yeh. Cspnet:A new backbone that can enhance learning capability of cnn.In CVPR workshops, 2020. 2, 5 [32] Jianfeng Wang, Lin Song, Zeming Li, Hongbin Sun, JianSun, and Nanning Zheng. End-to-end object detection with fully convolutional network. In CVPR, 2020. 1
[33] Jianfeng Wang, Lin Song, Zeming Li, Hongbin Sun, JianSun, and Nanning Zheng. End-to-end object detection withfully convolutional network. In CVPR, 2021. 4
[34] Y ue Wu, Yinpeng Chen, Lu Y uan, Zicheng Liu, LijuanWang, Hongzhi Li, and Y un Fu. Rethinking classificationand localization for object detection. In CVPR, 2020. 2
[35] Y ue Wu, Yinpeng Chen, Lu Y uan, Zicheng Liu, LijuanWang, Hongzhi Li, and Y un Fu. Rethinking classificationand localization for object detection. In CVPR, 2020. 2
[36] Shifeng Zhang, Cheng Chi, Y ongqiang Yao, Zhen Lei, and Stan Z Li. Bridging the gap between anchor-based andanchor-free detection via adaptive training sample selection.In CVPR, 2020. 1, 4
[37] Xiaosong Zhang, Fang Wan, Chang Liu, Rongrong Ji, andQixiang Ye. Freeanchor: Learning to match anchors for visual object detection. In NeurIPS, 2019. 1, 4
[38] Zhi Zhang, Tong He, Hang Zhang, Zhongyuan Zhang, Jun-yuan Xie, and Mu Li. Bag of freebies for training object detection neural networks. arXiv preprint arXiv:1902.04103,2019.3, 5
[39] Qiang Zhou, Chaohui Y u, Chunhua Shen, Zhibin Wang,and Hao Li. Object detection made simpler by eliminating heuristic nms. arXiv preprint arXiv:2101.11782, 2021. 1, 4
[40] Xingyi Zhou, Dequan Wang, and Philipp Krähenbühl. Objects as points. arXiv preprint arXiv:1904.07850, 2019. 1,3