1. Motivation
- 目前大部分域自適應方法一般是分為兩種：input-level 和 feature-level。這些方法大部分都是在特征空間中進行操作，而這些特征同時包含 id-related 和 id-unrelated 信息，其中的 id-unrelated 信息會干擾和限制域自適應的性能。
- Cross-domain Re-ID 需要解決兩個問題：disentangling (解耦) 和 adaption (域適應) , 目前大部分方法只解決其中一個問題，因此如何在缺少目標域監督信息的情況下，同時解決這兩個問題，縮小 domain gap 成為了 一個值得解決的問題。
2. Method
2.1 Idea
- 將潛在的特征空間分為三部分：shared appearance space (用於捕捉 id-relate 信息)，source structure space (姿態，視角，背景等 id-unrelated 信息) , target structure space.
2.2 Network
Disentangling Module
- \(E_{app}\): 用於提取兩個域 id-related 信息，參數共享；
- \(E_{str}\): 用於提取兩個域各自的 id-unrelated 信息， 參數不共享；
- \(G^t\), \(G^s\): 目標域和源域的生成器，通過重組 id-related 和 id-unrelated 信息生成對應模態的圖片
- \(D_{dom}\): 用於判別來自源域或者目標域
- \(D_{img}\): 用於判別圖像是真亦或是來自生成的偽造圖像
Loss Function
-
Cross-domain Generation
為了保證圖像生成器偽造的質量以及提高特征的判別性，作者用循環一致性損失和交叉熵損失來約束：
圖像生成的對抗損失如下：
-
Adaptation Module
為了消除兩個域的差異，我們要實現 id-relate 信息也是域無關的，也就是不論是目標域還是源域，對於同一個id的圖像，提取的 id-relate 特征應該是相似的，因此引入了一個domain的判別器損失：
-
Self-training
用聚類的方法，給目標域的圖像打偽標簽，用 K-reciprocal 來衡量點對之間的距離，以迭代的方式進行網絡微調，獲得的偽標簽通過交叉熵損失來約束 id-relate 編碼器 \(E_{app}\)：
-
Discussion
Disentangling 和 Adaptation 兩個模塊互相有積極的作用：
i ) 通過對抗學習，Disentangling Module 學習到 id-relate 信息，將 id-unrelate 信息剔除， 避免其對域適應過程產生干擾
ii ) Adaptation Module 可以減輕 Disentangling Module 的任務, 通過 domain 對齊可以使得解耦更加容易
3. Experiments
3.1 Comparison with the SOTA
- 作者提到本文的 Disentangling Module 可以用到其他 Adaptation 方法中去，可以提升性能。
3.2 Ablation Study
- 只添加 Disentangling Module 可以提升五個點左右，因此可以看出來，即使沒有域適應，只需要把id-unrelate 信息盡可能剔除，一樣可以提升性能。
- 由表中可以看出來，self-training 對性能的提升還是比較大的
4. Conclusion
- 把圖像解耦成 id-related 和 id-unrelated 信息，在 id-relate 特征空間中進行 domain 對齊。
- 將解耦和域適應結合，用生成的方式進行域遷移，解耦和域適應兩個模塊互相促進。