無監督域對抗算法：ICCV2019論文解析
Drop to Adapt: Learning Discriminative Features for Unsupervised Domain Adaptation
論文鏈接：
Source code is available at： https://github.com/postBG/DTA.pytorch
摘要
最近的領域自適應研究利用對抗性訓練從特征抽取器和領域判別器網絡的聯合學習中獲得領域不變的特征表示。然而，域對抗方法在不考慮任務的情況下試圖匹配域之間的分布，因而表現出次優的性能。我們提出了Drop-to-Adapt（DTA），它利用敵對性Dropout者通過實施集群假設來學習強歧視性特征。因此，我們設計目標函數來支持穩健的域自適應。我們在各種實驗中證明了該方法的有效性，並在圖像分類和語義分割任務中實現了一致的改進。
1. Introduction
我們的方法基於聚類假設，即決策邊界應該放在特征空間的低密度區域[5]。在沒有模型自適應的情況下，特征抽取器為目標域中未看到的數據生成任意特征，分類者可以繪制通過目標域上特征密集區域的決策邊界。因此，我們通過將決策邊界推離目標域的特征來學習域適應模型。
我們的方法Drop-to-Adapt（DTA）使用敵對性dropout[30]在目標域上實施集群假設。 更准確地說，為了支持各種任務，我們分別為完全連接層和卷積層引入了元素級和信道級的對抗性退出操作。圖1概述了我們的方法，我們在第3.3節中設計了相關的損失函數。
我們的貢獻總結如下：1）我們在UDA中提出了一個基於敵對性Dropout的廣義框架[30]。我們的實現同時支持卷積層和完全連接層；2）我們測試用於圖像分類的各種域適應基准，並與最新方法相比取得競爭性結果；3）我們將所提出的方法擴展到UDA中的語義分割任務中，在那里我們執行從模擬到現實環境的適應。
2. Related Work
領域適應已經被廣泛研究。BenDavid等人[1，2]檢查了兩個域之間的各種差異度量，並定義了目標域錯誤的上限。基於這些研究，圖像翻譯方法在圖像水平上將兩個域之間的差異最小化[42，51，3]。另一方面，特征對齊方法試圖匹配源域和目標域之間的特征分布[11，44，23]。特別是艾爾，加寧等人[11] 提出了一種域對抗訓練方法，通過欺騙域鑒別器來產生域不變特征。許多最近的研究將領域對抗訓練作為適應過程中的一個關鍵組成部分[12，4，15，40，31，47，46]。然而，域分類者不能考慮類標簽；因此，生成的特征對於分類來說往往是次優的。為了克服領域對抗訓練的不足，近年來的研究直接基於聚類假設處理決策邊界與特征表示之間的關系[5]。一些工作[25，9，40]利用半監督學習進行領域適應。此外，MCD[37]和ADR[36]使用minimax訓練方法將目標特征分布推離決策邊界，兩種方法都由特征提取器和分類器組成。更准確地說，在[36]中，通過隨機Dropout對兩個不同的分類進行采樣。然后，對於相同的目標數據樣本，更新分類器以最大化兩個預測之間的差異。最后，特征抽取器被多次更新以最小化這種差異。minimax訓練過程使分類器處於噪聲敏感狀態。因此，必須對其進行新的訓練以獲得最佳性能。盡管我們的工作部分受到了ADR的啟發，但與現有技術相比，所提出的方法更為有效，訓練更為簡單[36，37]。為了最大限度地擴大差異，我們沒有更新分類，而是在分類上采用了敵對性退學[30]，以達到類似的效果。此外，這種對抗性退出也可以應用於特征提取器。在不需要極大極小訓練方案的情況下，DTA具有簡單可靠的自適應過程。Dropout是一種簡單而有效的正則化方法，在訓練過程中隨機Dropout一小部分神經元[41]。據Srivastava el al [41]，Dropout具有整合網絡的多個子集的效果。Park等人[29]突出了卷積層上Dropout的效果。湯普森·艾爾。[43]指出，卷積層的激活通常被同一特征圖內的類似激活所包圍；因此，單個神經元的缺失對卷積層沒有很強的影響。相反，他們提出了空間Dropout，即刪除整個特征圖而不是單個神經元。建立在空間Dropout的基礎上，侯艾爾。[16] 提出了一種加權信道丟包，該丟包對單個信道使用可變丟包率，其中丟包率取決於信道的平均激活值。加權信道丟失僅適用於網絡的深層，其中激活具有高規格[50、49、48]。類似地，對於頻道敵對退出，我們以敵對的方式刪除整個功能圖。
3. Proposed Method
為了在更廣泛的任務中使用DTA，我們將EAdD擴展到卷積層。然而，在這些層中，由於特征地圖的各個激活之間的強空間相關性，標准缺失相對無效[43]。EAdD輟學者在天真地應用於復雜層時也會遇到同樣的問題。因此，我們制定了CAdD，它會以相反的方式刪除整個特征圖，而不是單獨的激活。雖然一般過程類似於EAdD，但我們對掩模施加了某些約束，以表示空間丟失[43]。圖2突出了EAdD和CAdD之間的區別。
我們在圖1（c）中說明了LfDTA的效果。最初，決策邊界穿過特征空間中的高密度區域（圖1（a）），這違反了聚類假設。通過在特征提取器上應用對手退出，我們使某些特征越過決策邊界（圖1（c），左）。然后，為了實施一致的預測，更新模型參數以使決策邊界遠離這些特征（圖1（c），右）。類似地，我們將AdD應用於Classifier，Classifier被定義為一系列完全連接的層。
圖3使用Grad-GAM[39]可視化了敵對性輟學的影響，它強調了預測中最具辨別力的區域。作為基線，我們提供僅在源域上訓練的模型的梯度CAM可視化（因此，參見圖3（b））。我們將AdD應用於僅源模型（SO+AdD），並看到語義上有意義的區域被停用。相反，我們的領域適應模型（DTA，參見圖3（d））保持相對不受AdD的影響，因為它始終看到相同的區分區域（參見圖3（e））而不考慮AdD。可視化結果表明，AdD可以促進更多隱藏單元的激活，並有助於跨域的健壯決策邊界。
4. Experimental Results
為了評估DTA模型的影響，我們首先在小數據集上進行實驗。我們使用MNIST[20]、USPS[17]和Street View House Numbers（SVHN[28]來適應數字識別。對於對象識別，我們使用CIFAR10（CIFAR）[18]和STL10（STL）[6]。為了與最近最先進的方法，如Self-Ensembling（SE）[9]、VADA[40]和DIRT-T[40]進行公平的比較，我們在與SE相同的網絡架構上進行了實驗。雖然VADA/DIRT-T使用稍有不同的rernet架構，但參數總數是可比的。結果見表1，超參數設置的完整列表見附錄B。
使用ResNet-101骨干網的每類自適應性能見表2。該表清楚地表明，我們提出的方法在很大程度上超過了以前的方法。請注意，此表中的所有方法都使用相同的ResNet-101主干網。與純源模型相比，平均精度提高了30.7%（相對提高了60.4%）。此外，DTA在所有類別中都顯示出顯著的改進；事實上，它在所有類別中都實現了最佳的每類性能，除了“卡車”類別，它僅落后於ADR 0.2%。盡管我們的源模型略低於MCD[37]和ADR模型，但我們提出的方法有效地將模型從源域推廣到目標域，與MCD和ADR相比，自適應性能分別提高了9.6%和6.7%。
在表4中，我們證明了在不同的骨干網絡上成功地應用DTA是可行的。與ResNet-101上的DTA類似，我們的模型優於最近的前一種方法，並且證明了與僅源模型相比的顯著改進。雖然SE報告了最佳的總體性能，但我們認為它不能與其他方法（包括我們的方法）相比，因為報告的精度是16個集合預測的結果。
對於定性分析，圖4用tSNE可視化了VisDA-2017分類的特征表示[45]。純源模型顯示了源域合成圖像樣本的強聚類（藍色），但對目標域的真實圖像樣本（紅色）沒有類似的影響。在訓練過程中，DTA通過刺激模型的特征表示和決策邊界，不斷地對目標樣本進行聚類。因此，我們可以清楚地看到，目標特征與DTA的分離得到了改進，從而在VisDA-2017中獲得了最佳性能。
5. Discussion
雖然提議的DTA在多個視覺任務上顯示出顯著的改進，但我們希望了解DTA中每個組件的作用以及它們的組合在實踐中的運作方式。我們進行了一系列燒蝕實驗，結果見表5。所有融合均在VisDA-2017圖像分類數據集上進行。為了驗證該方法的有效性和通用性，我們使用ResNet50和ResNet-101模型進行了所有的融合實驗。修改后的基於ResNet的模型包括原始卷積層，在第二個完全連接層之后使用FAdD，在最后一個卷積層中使用CAdD。式（11）中的熵損失項適用於除“僅源”設置外的所有loss。
6. Conclusion
我們提出了一種簡單而有效的無監督域自適應方法。通過兩種提出的敵對退出模塊EAdD和CAdD，我們在tar上實現了集群假設獲取域。所提出的方法很容易集成到現有的深度學習架構中。通過對各種大小數據集的大量實驗，我們證明了該方法在兩個領域自適應任務上的有效性，並且在所有情況下，與純源模型和最新結果相比，我們都取得了顯著的改進。