論文閱讀筆記(二十五)【CVPR2020】:Weakly Supervised Discriminative Feature Learning with State Information for Person Identification


Introduction

每個行人圖片都會有視角、姿態等狀態信息,雖然自身不帶標簽,但可以預測這些狀態信息作為偽標簽,如下圖:

由於無監督學習通常存在結果出錯的問題,一些未標簽的樣本會偏離正確的決策邊界,為此作者提出了弱監督決策邊界修正(weakly supervised decision boundary rectification)來解決這個問題,由此每個樣本獲得了一個偽類,作為狀態信息。

當特征失真嚴重時,樣本會偏移到不正確的決策區域,但每個狀態都有着特定的失真模式,會使得樣本產生特定的偏移,對此作者提出了弱監督特征漂移正則化(weakly supervised feature drift regularization)。

方法概覽如下:

 

帶有狀態信息的弱監督判別特征學習

定義無標簽的訓練為:,定義狀態為:,例如用於表述 ui 是黑暗、一般、明亮。目標是學習一個網絡 f 來提取行人的判別特征,即。每個特征特征向量 x 都屬於一個代理類(surrogate class)μ,每個代理類都預測為未標簽數據中的一個潛在的行人身份,判別學習問題定義為:

其中 K 表示代理類的數量,表示 x 的代理類的標簽,即:

是動態更新的量)

推導:

x 為第 y 類的概率值為:

設置:

概率值更新為:

 

(1)弱監督決策邊界修正(Weakly supervised decision boundary rectification,WDBR)):

量化一個代理類被狀態支配的程度,稱為 Maximum Predominance Index(MPI),表示為在代理類中最常見狀態的比例。第 k 個代理類的MPI定義為:

其中,則分母表示為該代理類的元素數量,分子表示為代理類中最常見狀態的元素數量,會動態更新。

Rk 越高,表明一些樣本錯誤的進入了代理類中(直觀理解,每個代理類,即每個行人被不同監控拍攝下來,所包含的狀態分布相對均勻)。由此得到弱監督的修正分配為:

其中 p(k) 為修正函數,用於抑制 Rk 較高的代理類,具體為:

上述稱為 soft rectifier 函數,若 b = 0.95, a = 無窮,可以簡化得到 hard rectifier 函數:

對於 hard rectifier 函數,當超過閾值時,比如這部分決策區域超過95%的樣本都是黑暗的,那么說明這部分過於黑無法匹配出行人,則取消這片決策區域;

對於 soft rectifier 函數,當超過閾值時,決策區域不會無效,而是對決策邊界進行調整。

二分類的決策邊界推導:

 

(2)弱監督特征漂移正則化(Weakly supervised feature drift regularization,WFDR):

視覺的主導狀態會導致顯著的特征失真,但其遵循着特定的失真模式,比如低分率狀態下顏色暗淡、紋理模糊等。定義狀態子分布(state sub-distribution)為,所有未標簽的訓練集的分布為,其中,特征失真會導致遠離,作者提出校准子分布和總分布,來對抗特征的漂移,即 WFDR:

其中 d 為Wasserstein距離,衡量兩個分布之間的距離【傳送門】,為了計算的方便,對距離計算進行簡化:

其中  分別為中特征向量的均值和方差,分別為中特征向量的均值和方差。

 

(3)結合兩方面的考慮,得到總損失函

主干網絡采用ResNet-50,訓練迭代次數為1600次,batchsize = 384,momentum = 0.9,weight decay = 0.005,采用梯度下降法,學習率為0.001,並在1000、1400次迭代后下降至0.1倍,

 

Experiments

將模型應用到兩個領域進行測試:行人重識別和姿態魯棒人臉識別(只看了行人重識別):

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM