Beyond Part Models: Person Retrieval with Refined Part Pooling
Sun Y, Zheng L, Yang Y, et al. Beyond Part Models: Person Retrieval with Refined Part Pooling[J]. 2017.
這篇是SVD-net作者的新作,也是我個人比較喜歡一篇。
主要內容是找到了一種既能精確划分部件信息而又不借助姿態估計的方法,提出了PCB+RPP的網絡框架。PCB是硬划分局部學習,RPP可以理解成特征圖的attention操作。
整個算法的思路清晰,PCB硬划分提取局部特征,然而簡單粗暴的划分帶來了不夠精確的對齊,考慮添加軟划分,但一般的軟划分需要借助分割或者姿態估計,而分割需要昂貴的標注成本,因此提出借助PCB的RPP。
並沒有過多的tricks堆砌,特別是RPP有種讓人眼前一亮的感覺。
local(part) feature and global feature
行人重識別中網絡最終結果就是提取有效的全局特征和局部特征
傳統部件方法
1.硬划分:簡單粗暴,但對齊不准確
2.軟划分:對齊准確,借助人體姿態估計,代價大
contributions
Sun設想找到一種既能精確划分部件信息而又不借助姿態估計的方法,因此提出了PCB+RPP的網絡框架。
PCB(Part Convolutional Baseline )
直接在特征上進行硬化分,降維之后,分別接softmaxloss
RPP(Refined Part Pooling)
屬於軟划分,利用部件之間的一致性,訓練一個像素級別的分類器即分割。
利用部件分類器得到對應6個part的6個通道的概率密度圖,每個概率密度圖分別和輸入整張特征做加權操作,
即可得到不同部件的精細的特征。
PCB+RPP的網絡結構
訓練的步驟:
1.訓練PCB網絡。
2.在PCB網絡的基礎上添加part classifier結構,然后固定PCB的backbone和最后的分類層參數,只訓練part classifier。
這里利用PCB的硬划分分類器強行的讓part classifie去適應,最終學到精細的划分分類器。
3.在part classifier訓練收斂后,解開權值固定,一起微調。
experiments
可視化分析
Market-1501性能