Introduction
每個行人圖片都會有視角、姿態等狀態信息,雖然自身不帶標簽,但可以預測這些狀態信息作為偽標簽,如下圖:
由於無監督學習通常存在結果出錯的問題,一些未標簽的樣本會偏離正確的決策邊界,為此作者提出了弱監督決策邊界修正(weakly supervised decision boundary rectification)來解決這個問題,由此每個樣本獲得了一個偽類,作為狀態信息。
當特征失真嚴重時,樣本會偏移到不正確的決策區域,但每個狀態都有着特定的失真模式,會使得樣本產生特定的偏移,對此作者提出了弱監督特征漂移正則化(weakly supervised feature drift regularization)。
方法概覽如下:
帶有狀態信息的弱監督判別特征學習
定義無標簽的訓練為:,定義狀態為:
,例如用於表述 ui 是黑暗、一般、明亮。目標是學習一個網絡 f 來提取行人的判別特征,即
。每個特征特征向量 x 都屬於一個代理類(surrogate class)μ,每個代理類都預測為未標簽數據中的一個潛在的行人身份,判別學習問題定義為:
其中 K 表示代理類的數量,表示 x 的代理類的標簽,即:
(是動態更新的量)
推導:
x 為第 y 類的概率值為:
設置:,
,
則
概率值更新為:
(1)弱監督決策邊界修正(Weakly supervised decision boundary rectification,WDBR)):
量化一個代理類被狀態支配的程度,稱為 Maximum Predominance Index(MPI),表示為在代理類中最常見狀態的比例。第 k 個代理類的MPI定義為:
其中,
,則分母表示為該代理類的元素數量,分子表示為代理類中最常見狀態的元素數量,
會動態更新。
Rk 越高,表明一些樣本錯誤的進入了代理類中(直觀理解,每個代理類,即每個行人被不同監控拍攝下來,所包含的狀態分布相對均勻)。由此得到弱監督的修正分配為:
其中 p(k) 為修正函數,用於抑制 Rk 較高的代理類,具體為:
上述稱為 soft rectifier 函數,若 b = 0.95, a = 無窮,可以簡化得到 hard rectifier 函數:
對於 hard rectifier 函數,當超過閾值時,比如這部分決策區域超過95%的樣本都是黑暗的,那么說明這部分過於黑無法匹配出行人,則取消這片決策區域;
對於 soft rectifier 函數,當超過閾值時,決策區域不會無效,而是對決策邊界進行調整。
二分類的決策邊界推導:
(2)弱監督特征漂移正則化(Weakly supervised feature drift regularization,WFDR):
視覺的主導狀態會導致顯著的特征失真,但其遵循着特定的失真模式,比如低分率狀態下顏色暗淡、紋理模糊等。定義狀態子分布(state sub-distribution)為,所有未標簽的訓練集的分布為
,其中
,特征失真會導致
遠離
,作者提出校准子分布和總分布,來對抗特征的漂移,即 WFDR:
其中 d 為Wasserstein距離,衡量兩個分布之間的距離【傳送門】,為了計算的方便,對距離計算進行簡化:
其中 分別為
中特征向量的均值和方差,
分別為
中特征向量的均值和方差。
(3)結合兩方面的考慮,得到總損失函
主干網絡采用ResNet-50,訓練迭代次數為1600次,batchsize = 384,momentum = 0.9,weight decay = 0.005,采用梯度下降法,學習率為0.001,並在1000、1400次迭代后下降至0.1倍,
Experiments
將模型應用到兩個領域進行測試:行人重識別和姿態魯棒人臉識別(只看了行人重識別):