YOLOV4知識點分析（一）
簡 介
yolov4論文：YOLOv4: Optimal Speed and Accuracy of Object Detection
arxiv：https://arxiv.org/abs/2004.10934
github源碼：https://github.com/AlexeyAB/darknet
YOLOV4的發布，可以想象到大家的激動，但是論文其實是一個結合了大量前人研究技術，加以組合並進行適當創新的高水平論文，實現了速度和精度的完美平衡。很多yolov4的分析文章都會說其中應用了哪些技術？但是暫時沒有看到對其中用到的各種技術進行詳細分析的文章，本文的目的就是如此，希望通過YOLOV4提到的各種新技術進行分析，明白YOLOV4后面的功臣算法。
文中將前人的工作主要分為Bag of freebies和Bag of specials，前者是指不會顯著影響模型測試速度和模型復雜度的技巧，主要就是數據增強操作，對應的Bag of specials就是會稍微增加模型復雜度和速度的技巧，但是如果不大幅增加復雜度且精度有明顯提升，那也是不錯的技巧。本文按照論文講的順序進行分析。由於每篇論文其實內容非常多，主要是分析思想和一些核心細節。
本篇文章分析如下技術：random erasing、cutout、hide-and-seek、grid mask、Adversarial Erasing、mixup、cutmix、mosaic、Stylized-ImageNet、label smooth、dropout和dropblock。
1. 數據增強相關-Random erasing data augmentation
論文名稱：Random erasing data augmentation
論文地址：https://arxiv.org/pdf/1708.04896v2.pdf
github: https://github.com/zhunzhong07/Random-Erasing
隨機擦除增強，非常容易理解。作者提出的目的主要是模擬遮擋，從而提高模型泛化能力，這種操作其實非常make sense，因為把物體遮擋一部分后依然能夠分類正確，那么肯定會迫使網絡利用局部未遮擋的數據進行識別，加大了訓練難度，一定程度會提高泛化能力。其也可以被視為add noise的一種，並且與隨機裁剪、隨機水平翻轉具有一定的互補性，綜合應用他們，可以取得更好的模型表現，尤其是對噪聲和遮擋具有更好的魯棒性。具體操作就是：隨機選擇一個區域，然后采用隨機值進行覆蓋，模擬遮擋場景。
在細節上，可以通過參數控制擦除的面積比例和寬高比，如果隨機到指定數目還無法滿足設置條件，則強制返回。
一些可視化效果如下：
對於目標檢測，作者還實現了3種做法，如下圖所示(開源代碼，只實現了分類的隨機擦除)。
當然隨機擦除可以和其他數據增強聯合使用，如下所示。
torchvision已經實現了：
https://pytorch.org/docs/master/_modules/torchvision/transforms/transforms.html#RandomErasing
注意：torchvision的實現僅僅針對分類而言，如果想用於檢測，還需要自己改造。調用如下所示：
torchvision.transforms.RandomErasing(p=0.5, scale=(0.02, 0.33), ratio=(0.3, 3.3), value=0, inplace=False)
2. 數據增強相關-Cutout
論文名稱：Improved Regularization of Convolutional Neural Networks with Cutout
論文地址：https://arxiv.org/abs/1708.04552v2
github: https://github.com/uoguelph-mlrg/Cutout
出發點和隨機擦除一樣，也是模擬遮擋，目的是提高泛化能力，實現上比random erasing簡單，隨機選擇一個固定大小的正方形區域，然后采用全0填充就OK了，當然為了避免填充0值對訓練的影響，應該要對數據進行中心歸一化操作，norm到0。
本文和隨機擦除幾乎同時發表，難分高下(不同場景下誰好難說)，區別在於在cutout中，擦除矩形區域存在一定概率不完全在原圖像中的。而在Random Erasing中，擦除矩形區域一定在原圖像內。Cutout變相的實現了任意大小的擦除，以及保留更多重要區域。
需要注意的是作者發現cutout區域的大小比形狀重要，所以cutout只要是正方形就行，非常簡單。具體操作是利用固定大小的矩形對圖像進行遮擋，在矩形范圍內，所有的值都被設置為0，或者其他純色值。而且擦除矩形區域存在一定概率不完全在原圖像中的（文中設置為50%）
論文中有一個細節可以看看：作者其實開發了一個早期做法，具體是：在訓練的每個epoch過程中，保存每張圖片對應的最大激活特征圖(以resnet為例，可以是layer4層特征圖)，在下一個訓練回合，對每張圖片的最大激活圖進行上采樣到和原圖一樣大，然后使用閾值切分為二值圖，蓋在原圖上再輸入到cnn中進行訓練，有點自適應的意味。但是有個小疑問：訓練的時候不是有數據增強嗎？下一個回合再用前一次增強后的數據有啥用？我不太清楚作者的實現細節。如果是驗證模式下進行到是可以。
這種做法效果蠻好的，但是最后發現這種方法和隨機選一個區域遮擋效果差別不大，而且帶來了額外的計算量，得不償失，便舍去。就變成了現在的cutout了。
可能和任務有關吧，按照我的理解，早期做法非常make sense，效果居然和cutout一樣，比較奇怪。並且實際上考慮目標檢測和語義分割，應該還需要具體考慮，不能照搬實現。
學習這類論文我覺得最重要的是思想，能不能推廣到不同領域上面？是否可以在訓練中自適應改變？是否可以結合特征圖聯合操作？
3. 數據增強相關-Hide-and-Seek
論文名稱：Hide-and-Seek: A Data Augmentation Technique for Weakly-Supervised Localization and Beyond
論文地址：https://arxiv.org/abs/1811.02545
github地址:https://github.com/kkanshul/Hide-and-Seek
可以認為是random earsing的推廣。核心思想就是去掉一些區域，使得其他區域也可以識別出物體，增加特征可判別能力。和大部分細粒度論文思想類型，如下所示：
數據增強僅僅用於訓練階段，測試還是整圖，不遮擋，如下所示。
做法是將圖片切分為sxs個網格，每個網格采用一定概率進行遮擋，可以模擬出隨機擦除和cutout效果。
至於隱藏值設置為何值，作者認為比較關鍵，因為可能會改變訓練數據的分布。如果暴力填黑，認為會出現訓練和測試數據分布不一致問題，可能不好，特別是對於第一層卷積而言。作者采用了一些理論計算，最后得到采用整個數據集的均值來填充造成的影響最小(如果采用均值，那么輸入網絡前，數據預處理減掉均值，那其實還是接近0)。
4. 數據增強相關-GridMask Data Augmentation
論文名稱：GridMask Data Augmentation
論文地址：https://arxiv.org/abs/2001.04086v2
本文可以認為是前面3篇文章的改進版本。本文的出發點是：刪除信息和保留信息之間要做一個平衡，而隨機擦除、cutout和hide-seek方法都可能會出現可判別區域全部刪除或者全部保留，引入噪聲，可能不好。如下所示：
要實現上述平衡，作者發現非常簡單，只需要結構化drop操作，例如均勻分布似的刪除正方形區域即可。並且可以通過密度和size參數控制，達到平衡。如下所示：
其包括4個超參，如下所示：
首先定義k，即圖像信息的保留比例，其中H和W分別是原圖的高和寬，M是保留下來的像素數，保留比例k如下，該參數k和上述的4個參數無直接關系，但是該參數間接定義了r：
d決定了一個dropped square的大小， 參數 x和 y的取值有一定隨機性.
其實看起來，就是兩個參數: r和d，r通過k計算而來，用於計算保留比例(核心參數)，d用了控制每個塊的大小。d越大，每個黑色塊面積就越大，黑色塊的個數就越少，d越小，黑色塊越小，個數就越多。xy僅僅用於控制第一個黑色塊的偏移而已。
對於應用概率的選擇，可以采用固定值或者線性增加操作，作者表示線性增加會更好，例如首先選擇r = 0.6，然后隨着訓練epoch的增加，概率從0增加到0.8，達到240th epoch后固定，這種操作也是非常make sense，為了模擬更多場景，在應用於圖片前，還可以對mask進行旋轉。這種策略當然也可以應用於前3種數據增強策略上。
5. 數據增強相關-object Region Mining with Adversarial Erasin
論文地址：https://arxiv.org/pdf/1703.08448.pdf
本文在yolov4中僅僅是提了一下，不是重點，但是覺得思想不錯，所以還是寫一下。
本文要解決的問題是使用分類做法來做分割任務(弱監督分割)，思想比較有趣。如下所示：
通過迭代訓練的方式不斷挖掘不同的可判別區域，最終組合得到完整的分割結果。第t次訓練迭代(一次迭代就是指的一次完整的訓練過程)，對於每張圖片都可以得到cam圖(類別激活圖)，將cam圖二值化然后蓋在原圖上，進行下一次迭代訓練，每次迭代都是學習一個不同的可判別區域，迭代結束條件就是分類性能不行了，因為可判別區域全部被蓋住了(由於該參數其實很難設置，故實驗直接取3)。最后的分割結果就是多次迭代的cam圖疊加起來即可。
本文是cvpr2017的論文，放在現在來看，做法其實超級麻煩，現在而言我肯定直接采用細粒度方法，采用特征擦除技術，端到端訓練，學習出所有可判別區域。應該不會比這種做法效果差，但是在當時還是不錯的思想。
但是其也提供了一種思路：是否可以采用分類預測出來的cam，結合弱監督做法，把cam的輸出也引入某種監督，在提升分類性能的同時，提升可判別學習能力。