域適應是一個比較火的方向，Source Domain(SD) 與 Target Domain(TD) 可以有很多代表，例如SD 為真實數據，TD為卡通數據 或者 SD為清晰數據，TD為模糊數據 或者 SD 為模擬數據，TD為真實數據等等。 最近看了一篇論文這個領域的論文記錄一下一些文章內容和代碼跑通時遇到的問題。
文章切入點
將在特定領域上訓練的目標檢測器的知識直接應用到新領域是有風險的，因為兩個領域之間的差異可能會嚴重降低模型的性能。此外，由於目標檢測場景中不同的實例通常包含不同的模態信息，因此很難實現源域和目標域的特征對齊。
主要工作
提出了一種圖誘導原型對齊(GPA)框架，通過精細的原型表示來尋求類別級別的領域對齊。簡而言之，通過基於圖的region proposals之間的信息傳播獲得更精確的實例級特征，並在此基礎上推導出用於類別級領域比對的每類的原型表示。此外，為了緩解類別不平衡對領域適應的負面影響，我們設計了一個類別加權對比損失來調整適應訓練過程。結合較快的R-CNN，該框架分兩步進行特征對齊。
主要內容
不同的實例在對象配置場景中往往體現出不同的模態信息（尺度和方向信息），如下圖
總體框架
（a）首先產生區域建議（候選框）
（b）建立候選框之間的圖關系
（c）通過在屬於同一實例的提案之間進行信息傳播，可以獲得更精確的實例級特征表示。
（d）每個類的原型表示都是通過置信度合並得到的。
（e）通過增強類內部的緊湊性和類間的可分離性來執行類別級域對齊，這里也就是代碼中提到的intraloss 和 interloss。
論文核心部分
Motivation and Overview
對齊Source domain 和 Target Domain 的prototype： 每個實例的關鍵信息通過基於圖的消息傳播進行聚合，不同實例反映的多模態信息被集成到每個類別的prototype中。
類別不平衡感知適應訓練： 通過對樣本稀缺類賦予更高的權重來協調不同類之間的域適應過程。
Graph-induced Prototype Alignment
步驟： Region proposal generation → Constructing relation graph → Graph-based region aggregation → Confidence-guided merging → Category-level domain alignment
Region proposal generation
這里沒啥說的，就是一個faster rcnn中的RPN提取region proposal 的過程。
Constructing relation graph
相同的歐氏距離下，由於IOU的不同，關聯強度也要不同
Graph-based region aggregation
通過一個圖神經網絡使proposal 聚集，對鄰接矩陣進行相關處理。 考慮到域自適應學習的分支上缺乏顯式的監督信號，與傳統的圖卷積相比，省略了可學習的參數矩陣。
Confidence-guided merging
既然在實例級聚合了特性表現，想要將不同實例反映的多模態信息集成到原型表示中。為了突出對特定類至關重要的模態信息，在合並過程中將提案對每個類的置信度作為權重，並將原型作為區域提案的加權平均嵌入量。
Class-imbalance-aware Adaptation Training
類似於focal loss 通過難以樣本與正負樣本的權重來緩解類別不平衡的問題，具體操作見原文。
結果
本人跑了其github代碼， source domain 數據集為 Sim10K , target domain 數據集為 City 下，map 峰值為 46.8左右，峰值epoch第2個。
相關問題，需要控制source domain 與 target domain 所出現的類別數一樣，例如 如果source domain 有 person 和 car 標注，在 target domain 中只有car 這一類，則需要屏蔽 person 這一類或者在target domain 中加入 person 這一類，只是加入類名實際 target domain 中不會有 person 的相關訓練。
總結
該文提出了圖形誘導原型對准(GPA)框架用於跨域檢測。在該框架中，通過基於圖的消息傳播聚合每個實例的關鍵信息，並派生出用於分類級domain對齊的原型表示。此外，我們通過重新加權的對比損失來協調適應訓練的過程。性能較突出，不然怎么中cvpr 2020呢。