論文閱讀筆記(五十二)高低分辨率行人重識別 (Part 2)


Cross-Resolution Person Re-identification with Deep Antithetical Learning【ACCV2018】

一些LR-HR匹配的方法是把圖像映射到一個特征空間中,但這種方法會擾亂原有的圖像分布,需要做大量的圖像預處理。為此,作者提出了一種deep antithetical learning(深度對偶學習)方法,可以直接從自然的圖像空間中學習,而不需要專門創建一個特征空間(作者在測試時候只針對現實場景中的分辨率差異,不對數據集做下采樣操作,直接用原始數據)。方法的思路簡述:① 依據分辨率對圖像進行分類 → ② 創建對偶訓練數據集 → ③ 采用Contrastive Center Loss(CCL)對不同分辨率的圖像進行學習。

第①步:作者認為,更加銳利的邊緣能夠提高分辨率在頻域中的高頻分量。后面采用了傅里葉變換之類的數學處理(沒看懂,略),划分成了兩個數據子集

第②步:對於中的圖像采用下采樣獲取LR集合,對於中的圖像采用SR-GAN網絡獲取HR集合

第③步:作者認為三元組損失容易受到分辨率差異的影響,而提出的CCL旨在評估圖像之間的距離同時不被分辨率差異影響。LCC損失具體為:

 

實驗結果:

 

 

Cascaded SR-GAN for Scale-Adaptive Low Resolution Person Re-identification【IJCAI2018】

作者針對低分辨率reid問題提出了Cascaded Super-Resolution GAN(CSR-GAN)方法。具體貢獻如下:① 級聯了多個SR-GAN,上采樣率可以實現尺度的適應;② 提出的CSR-GAN提高了尺度適應SR和reid的集成能力,同時增強了SR處理后LR-HR之間的相似度;③ 設計了一個common-human損失,讓生成的圖像更接近行人;設計了一個unique-human損失,讓行人圖像的特征更加有判別力。網絡結構圖如下:

圖上可知,CSR-GAN網絡框架包含了3個SR-GAN模塊。定義為第k個生成器輸出的圖像,即。定義為真實圖像,尺度與相同。為下采樣率,依次取值1/8,1/4,1/2,1。

generator的損失函數如下:

① 像素級MSE損失:

② VGG損失(采用了19層的VGG網絡,其中表示第 i 層最大池化前的第 j 層卷積的特征映射):

③ 對抗損失(其中為生成的超分圖像為real的概率,希望生成real的概率越大,這里損失的值就越小,原對抗損失應該為,為了方便計算梯度才改為如下形式):

discriminator的損失函數如下:

common-human損失函數如下(為了讓第三個模塊輸出的行人分類結果與原始的行人分類結果盡量一致):

其中為行人圖像判斷為c類的概率。

unique-human損失函數如下(交叉熵):

其中m為行人ID數量,p為分為每個ID的概率,q為行人ID和判斷ID的一致性,即0或1。

實驗采用了3個數據集進行評估:SALR-VIPeR、SALR-PRID、CAVIAR,其中前兩個為基於VIPeR和PRID生成的數據集。實驗結果如下:

 

Learning Resolution-Invariant Deep Representations for Person Re-Identification【AAAI2019】

為了提取適應分辨率的特征,作者提出了一個Resolution Adaptation and re-Identification Network(RAIN),如下圖所示:

定義:HR圖像集合,對應標簽集合,下采樣得到的LR圖像集合

Cross-resolution feature  extractor:輸入HR、LR圖像,通過Resnet50提取得到特征映射,Resnet50的5層的殘差塊輸出分別為,引入了對抗損失:

High-resolution decoder:編碼器可以將提取到的特征恢復到HR圖像,定義重構損失為:

ReID classifier:先對輸出的特征采用全局平均池化,得到特征映射,在采用交叉熵損失和三元組損失:

最終累加為目標函數:

實驗結果:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM