Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation CVPR2021
Abstarct
實例分割需要處理稀有類別對象，利用數據擴增來解決。本文簡單隨機粘貼對象，與半監督方法結合，通過偽標簽來利用額外的數據。
many augmentation methods such as scale jittering and random resizing have beenwidely used，下圖large scale jittering(strong)
large scale jittering + copy-paste示例，原圖像兩張。可以看到，CP(Copy-Paste)的關鍵思想是將不同object相互粘貼，增加樣本數量，選擇的方面有：源圖像對(copy)；目標圖像(paste)；對象粘貼的位置。prior work對上下文建模來決定粘貼的位置，本文隨機挑選object和粘貼位置。
Related Work
數據增強 在本監督學習，自監督學習等上起作用。Augmentations(jittering) are more general purpose in nature and are mainly used for encoding invariances to data transformations, a principle well suited for image classification
Copy-Paste 類似於 mixup 和 CutMix，但只復制與對象對應的確切像素，而不是對象邊界框中的所有像素。
實例分割 檢測對象實例並分割與每個實例對應的像素。
長尾視覺識別 在訓練深度網絡時處理長尾數據的方法主要分為兩：數據重采樣和損失重新加權。其他更復雜的學習方法（例如元學習、因果推理 、貝葉斯方法等）也用於處理長尾數據。近期工作過分離特征學習和重新平衡階段，指出了兩階段訓練策略的有效性，因為使用重新平衡策略的端到端訓練不利於特征學習。
Method
隨機選擇兩張圖片，每張圖片隨機尺度抖動和隨機水平翻轉。然后從一個圖像中隨機選擇一對象子集粘貼到另一個圖像上。最后調整GT：移除完全遮擋的對象並更新部分遮擋對象的掩碼和邊界框。
large scale jittering 整篇文章中使用兩種不同類型的增強方法與復制粘貼相結合：標准尺度抖動 (SSJ) 和大規模抖動 (LSJ)。與大多數先前工作中的標准尺度抖動相比，大規模抖動產生了顯着的性能改進。
Self-training Copy-Paste 除了在監督數據上研究 CopyPaste ，還嘗試將其作為合並其他未標記圖像的一種方式。自訓練復制粘貼程序如下：（1）在標記數據上使用復制粘貼增強訓練監督模型（2）在未標記數據上生成偽標簽（3）將ground truth粘貼到偽標記和監督標記中圖像並在此新數據上訓練模型。
