簡介:這篇文章屬於跨域無監督行人再識別,不同於大部分文章它使用了屬性標注。旨在於能夠學習到有屬性語義與有區分力的身份特征的表達空間(TJ-AIDL),並能夠轉移到一個沒有看到過的域。
貢獻:
- 提出了一個聯合屬性與身份的異質多任務無監督行人重識別深度模型
- 從有標注的源域圖片中同時學習全局的身份信息與局部的屬性信息,並通過一個身份推斷屬性(IIA)空間來最大化學習的有效性
- 提出一個屬性一致框架來在無標注的目標域上進行無監督的自適應
之前工作存在的問題:
Re-ID: 依賴手工特征;缺乏有效域適應能力;單獨利用身份與屬性標注信息忽略了它們的聯系與互補性
Re-ID的屬性:語義協作表達對身份識別來說沒有卷積特征向量有效,因為:屬性協助表達通常是低維的,所以區分力不夠;在標注數據比較稀疏而且行人圖片質量不高時,一次預測出所有屬性比較困難。
TJ-AIDL的特殊性:
- 不同於身份標簽,屬性檢測是一個多標簽識別問題,因為一個行人照片會同時對應幾個標注
- 身份與屬性監督對應了不同級別的約束:許多屬性都是對應了某一個圖片區域而身份標簽則對應整張圖片,所以兩者結合在一起能夠學習到一個更加全面的表達空間
方法:
整體的模型框架圖如下所示,使用一個多分支的網絡結構來進行有監督的異質多任務學習。上面的身份分支來在源域中提取Re-ID的敏感信息;下面的屬性分支來從屬性標簽提取語義信息;后面的身份推斷空間IIA使得這兩種信息和諧地融合在一起。在測試時,選擇訓練好的屬性分支來提取特征表達進行檢索。整個網絡的訓練分為兩步,一是在有標注的源域數據上進行監督訓練,二是在無標注的目標域上進行域適應。
一:源域數據上的監督訓練
首先介紹第一步,就是在源域數據上進行監督訓練,這里的CNN用的是輕量化的MobileNet,身份分支(a)的監督損失如下,是一個常見的交叉熵損失:
下面的屬性分支(b)的監督損失其實就是如下的BCELoss,因為屬性預測是一個多label的問題。
現在這兩者之間是獨立的,一般的做法是建立一個多任務聯合學習框架在這兩個約束下映射到一個共享的特征空間。但是這篇文章提出了一個更加高效的多源信息融合框架,與之前方法的准確率對比如下:
這一框架就是身份推斷屬性空間(c),簡稱為IIA.它使用的自動編碼機結構,理由如下:(1)自動編碼機能夠在給定的目標任務下提取輸入數據的重要信息並通過一個簡潔的特征向量表示出來;(2)這樣的一個簡潔的特征表達能夠簡化任務間的信息傳遞,同時為每個單獨任務的學習保留自由的更新空間。
使用身份分支a的特征向量作為IIA的輸入與重建輸出的真值,首先是一個IIA的均方誤差重建損失:
通過上面這個損失我們得到了eIIA,它是重要身份信息的編碼,使用它在分支間傳遞信息。向屬性分支的傳遞也使用的是均方誤差:
因為eIIA是使用一個無監督方式得到的,它可能偏離了對應的屬性預測,比較難以對齊,所以給eIIA加了屬性預測。
與IIA有關的損失就是將這三者加起來:
IIA對身份分支的影響:無影響,因為IIA采用的輸入就是身份分支得到的特征表達,所以得到的eIIA不需要對身份分支特征進行約束
IIA對屬性分支的影響:加了一個eIIA與屬性向量的均方誤差約束,所以屬性有關的約束變成了:
二:無監督的目標域適應
這里的跨域是基於屬性一致性原則。這基於一個觀察,也就是訓練好的TJ-AIDL模型在兩個不同的屬性視角有着更小的差異。如下所示:
然后這篇文章就使用這兩者之間的差異來顯示模型在給定域上是否契合。
因為在測試時使用的是屬性分支,所以目標是對屬性分支進行適應而不用去管身份分支的更新。更新算法如下:
- 將源域上訓練好的TJ-AIDL模型放到無標注的目標域來從屬性分支得到屬性預測patt,t
- 之后使用得到的軟標簽patt,t來作為偽標簽來更新屬性分支和IIA來減小域間的屬性差異。直覺上,軟標簽保留了從源域獲得的最具區分力的屬性能夠防止模型過度漂移。
- 在目標域上進行適應直到模型收斂。
整體算法如下: