HHL論文及代碼理解(Generalizing A Person Retrieval Model Hetero- and Homogeneously ECCV 2018)


行人再識別Re-ID面臨兩個特殊的問題:

1)源數據集和目標數據集類別完全不同

2)相機造成的圖片差異

因為一般來說傳統的域適應問題源域和目標域的類別是相同的,相機之間的不匹配也是造成行人再識別數據集數據分布不同的主要原因之一,如何在域適應中有效利用相機信息還沒有一個很好的解決方案。

在這篇論文中,作者主要就是想解決這兩個問題。提出了Hetero-Homogeneous Learning (HHL)算法。具體的解決方法如下:

相機差異: 通過目標域中未標注的圖片和對應的風格轉換圖片學習(Homogeneous Learning)

域連通性:將源域/目標域圖片視為目標域/源域的負匹配(Hetero Learning)

 

簡要概括:算法先從挑選一張圖片,為了實現相機不變性,利用StarGAN生成一系列不同相機風格的圖片,與原始圖片一起組成正樣本,因為訓練圖片來自於同一個域,這稱為Homogeneous Learning。為了實現域連通性則通過采樣自源域和目標域的圖片進行訓練,因為源域和目標域的ID不重疊,很自然地形成了一個負樣本對,因其來自不同域被稱為Hetero Learning,網絡輸入是一個triplet。

網絡結構如下:

網絡包含兩個支路,一個是從源樣本學習計算的分類交叉熵損失,另一個是相似度學習的triplet損失,是來學習前面介紹的相機不變性和域連通性,通過有標注的源樣本,無標注的目標樣本和相機風格轉換的樣本來學習。

 

Baseline:

作者使用在ImageNet上進行預訓練的ResNet50作為骨干網絡,去除了最后的1000維的全連接層,增加了兩個新的全連接,第一個叫做“FC-1024”,后面接着batchnorm,ReLU和Dropout。第二個叫做“FC-#ID”,輸出維度等於類別數。使用了交叉熵損失作為網絡監督:

以上就是上圖的第一條支路,它的目標是對於給定類別的圖片訓練出對ID敏感的嵌入(IDE),就是把行人再識別當作分類任務來做。

 

其實對於同源數據,IDE就能表現得挺不錯了,但是IDE的泛化性很差,換到不同的目標數據集上效果將大打折扣。因此作者就引入了上面提到了HHL,也就是第二條支路。

在第二條支路中,“FC-#ID”被替換成了128維的全連接,並且交叉熵損失改成了triplet損失。交叉熵損失用於分類學習。triplet損失用於相似度學習。

 

相機不變性:

對於相機不變性有一個很直觀的理解,就是同一個人不管用哪個相機拍攝的圖片,網絡都應該識別得出來。本着這一思想,可以想到使用GAN把一張圖片轉換成多個相機的風格。

如果了解Re-ID肯定知道2018 CVPR就有很多用CycleGAN做了這一研究的,作者這里使用的是StarGAN。CycleGAN只能實現兩兩之間的轉換而StarGAN則可以實現一到多個域之間的轉換,關於StarGAN的解讀可以移步。StarGAN的生成效果如下:

 

作者選擇的是目標域的圖片,目標域存在了C個相機,作者對於每個圖片學習生成了C種轉換(其中有對應自己相機風格的一張)。目標域的原始圖片表示為xit,生成圖片表示為xit*,后者的數量是前者的C倍。相機不變性的三元損失公式如下:

其中triplet樣本的形成規則如下:
1.先從目標域挑選一張原始圖片作為anchor
2.隨機挑選anchor的StarGAN合成圖片作為正例

3.隨機再從目標域挑選一張原始圖片作為負例(這一假設嚴格來說是不合理的,因為每個人都有多張圖片,可能就會采樣到與anchor中人物相同的,但是因為數據集中負樣本對數目遠遠大於正樣本,作者用實驗證明了這一假設影響不大)。

 

域連通性:

在行人再識別中不同域有着不同的個體,於是源域與目標域很自然地就形成了負樣本對。作者使用這個特性進行域連通性學習,這樣一來網絡可以把原始域圖片和目標域圖片投影到一個共同空間,綜合考慮兩者之間的關系。

這里的triplet樣本組織規則為:

1.首先從源域挑選一張圖片作為anchor

2.再利用源域標簽,再挑選一張與anchor人物相同的作為正例

3.最后從目標域隨機采樣一張作為負例

損失函數公式為:

 

 HHL:

在這篇論文中作者認為對於一個有效的行人無監督域適應系統(UDA)來說,相機不變性與域連通性是互補的。因此作者提出來在訓練批中使用單個的loss來聯合學習這兩個方面。公式化如下:

最后與交叉熵損失結合形成總體損失,交叉熵損失提供了僅在源域上學習到的一個基礎的區分能力,實驗證明了它不可或缺。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM