Inter-Task Association Critic for Cross-Resolution Person Re-Identification【CVPR2020】
作者將HR-LR Reid的方法分為兩類:① 學習一個適應分辨率(resolution-invariant)的表征方法;② 才用圖像超分方法。前者容易丟失LR圖像中的細粒度特征;后者需要連接SR和Reid兩個不同的任務,難以訓練。本文主要針對第二類方法,提出一個Inter-Task Association Critic (INTACT),將兩者有效的結合訓練。該方法包含了一個Multi-task (SR & ReID)網絡和一個association critic網絡。
當前的方法主要將SR網絡和ReID網絡連接起來,SR網絡損失函數包含了像素級的重構損失和GAN損失,ReID網絡采用了交叉熵損失。損失函數具體為:
(Eq. 1)
(Eq. 2)
(Eq. 3)
(Eq. 4)
為了解決上述方法的訓練困難,作者引入了一個正則化項 Inter-Task Association Critic (INTACT),其核心思想是利用任務之間的內在聯系作為一個額外的優化約束,來促進它們的聯合學習並增強它們的兼容性,然而如何度量這種內在聯系?為此,作者參數化了這種聯系。
將原始的HR圖像輸入判別器中,得到一個判別特征(二分類特征);輸入ReID網絡,得到行人特征
。學習一個特征映射,即上述的聯系,損失如下。這里作者基於了一個假設:HR圖像的ReID特征中包含了判別器所需要學習的HR特征分布。
(Eq. 5)
為了分離中間的隱藏特征,再對判別特征進行一個特征映射,即:
(Eq. 6)
最終損失函數:
(Eq. 7)
(看的不是很明白......這里我的大致理解就是:用原始HR圖像學習HR特征分布,再讓判別器能夠感知特征分布)
當已經學習到模型的聯系后,再應用到LR圖像處理中,即:
(Eq. 8)
模型的訓練包含3步,具體為:
SR網絡細節:
ReID網絡采用HR圖像訓練,網絡采用此論文:Omni-scale feature learning for person reidentification 【ICCV 2019】
實驗結果: