一篇解決圖像識別問題中“長尾分布”的論文，也是cvpr20的oral，想法簡潔有效：解耦分類網絡的特征學習層和分類層。論文地址：BBN 。
常見的物體類別在識別問題中占據主導地位，而罕見的類別則數據較少。長尾分布在某種程度上可以視作比正態分布更廣泛存在的一種自然分布，現實中主要表現在少量個體做出大量貢獻（少量類別的樣本數占據大量樣本比例）。類別極度不平衡時易導致模型學習非常容易被“頭部”類別主導而產生過擬合，同時模型對於“尾部”數據的學習不夠而導致預測不准。此外，深度學習模型基於batch的訓練特性帶來的模型遺忘問題在長尾數據分布情況下尤為突出。
在深度學習中，特征學習和分類器學習通常是被耦合在一起進行端到端學習，而在長尾分布數據的極度不平衡狀態下，特征學習和分類器學習的效果均會受到不同程度的干擾。文中首次揭示了重采樣（re-sampling）和重權重法（re-weighting）這類類別重平衡（class re-balancing）的方法其奏效的原因在於顯著提升了深度網絡的分類器學習模塊能力。然而該類方法由於刻意改變樣本數目（重采樣法）或刻意扭曲數據分布（重權重法），在一定程度上損害深度網絡學習到的特征。基於此。文中提出了一種雙分支神經網絡結構來同時兼顧特征學習和分類器學習。將深度學習模型這兩個重要模塊進行解耦，從而保證兩個模塊互不影響，共同收斂最優。該方案也是2019屆iNaturalist旗艦賽事世界冠軍的solution：代碼在這。
分析：
上圖在兩個數據集進行實驗，發現當固定特征學習時，固定某一列，發現CE是最差的表現，而RS表現最好，說明該方法可以促進分類器學習。而當固定分類器時，即固定某一行，看到CE有最好的表現。所以證實了加權或者采樣的這些方法是會損害特征學習的！那么最好的方案自然是利用RS進行分類器學習，CE進行特征學習。繼而提出的雙分支網絡結構如下：
比較有趣的地方有以下幾個點：下分支的倒置采樣器和特征加權聚合兩個地方。
上分支采樣器保持均勻采樣，是為了維持特征學習，保持原有數據分布。倒置采樣器是根據樣本出現頻率逆着采樣，即高頻樣本較小的采樣權重。目的是為了減輕樣本的不平衡，提升尾部類別的分類精確度。
在特征聚合處可以看到有兩個特征被提取：fc和fr，相繼與兩個權重（分類器W）相乘后進行加權：（有點mixup的味道）
然后得到z，z就是得分，利用softmax進行歸一化：
在計算損失的時候，也是加權計算：從下式看來損失是該預測結果以alpha概率屬於類別yc和以概率1-alpha屬於類別yr。
