論文閱讀筆記(五十四)高低分辨率行人重識別 (Part 3)


Inter-Task Association Critic for Cross-Resolution Person Re-Identification【CVPR2020】

作者將HR-LR Reid的方法分為兩類:① 學習一個適應分辨率(resolution-invariant)的表征方法;② 才用圖像超分方法。前者容易丟失LR圖像中的細粒度特征;后者需要連接SR和Reid兩個不同的任務,難以訓練。本文主要針對第二類方法,提出一個Inter-Task Association Critic (INTACT),將兩者有效的結合訓練。該方法包含了一個Multi-task (SR & ReID)網絡和一個association critic網絡。

當前的方法主要將SR網絡和ReID網絡連接起來,SR網絡損失函數包含了像素級的重構損失和GAN損失,ReID網絡采用了交叉熵損失。損失函數具體為:

 (Eq. 1)

 (Eq. 2)

  (Eq. 3)

 

 (Eq. 4)

為了解決上述方法的訓練困難,作者引入了一個正則化項 Inter-Task Association Critic (INTACT),其核心思想是利用任務之間的內在聯系作為一個額外的優化約束,來促進它們的聯合學習並增強它們的兼容性,然而如何度量這種內在聯系?為此,作者參數化了這種聯系。

將原始的HR圖像輸入判別器中,得到一個判別特征(二分類特征);輸入ReID網絡,得到行人特征。學習一個特征映射,即上述的聯系,損失如下。這里作者基於了一個假設:HR圖像的ReID特征中包含了判別器所需要學習的HR特征分布。

 (Eq. 5)

為了分離中間的隱藏特征,再對判別特征進行一個特征映射,即:

 (Eq. 6)

最終損失函數:

 (Eq. 7)

(看的不是很明白......這里我的大致理解就是:用原始HR圖像學習HR特征分布,再讓判別器能夠感知特征分布)

當已經學習到模型的聯系后,再應用到LR圖像處理中,即:

 (Eq. 8)

模型的訓練包含3步,具體為:

SR網絡細節:

ReID網絡采用HR圖像訓練,網絡采用此論文:Omni-scale feature learning for person reidentification 【ICCV 2019】

實驗結果:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM