Long-Term Cloth-Changing Person Re-identification
2020-06-05 14:45:42
Paper: https://arxiv.org/pdf/2005.12633.pdf
Project: https://naiq.github.io/LTCC_Perosn_ReID.html
1. The Proposed Method:
Shape Embedding:
人類可以根據輪廓很容易識別出一個人物，所以作者認為人體的形狀信息可以很具有判別性。此處，shape 是幾個特定的生物特征的籠統叫法，即：身高、身體的比例等。一個直接的做法是將人體形狀表示為不受 angle 和 distances，姿態變化影響的方式，就是用 joints/keypoints 並且建模這些點之間的關系。受到 Adaptive instance normalization 的影響，作者提出一種 shape embedding module 來編碼身體的形狀。
首先利用現成的姿態預測器，得到 n 個關鍵點。每一個點都有兩個屬性，即：position Pi 和 semantics Si。具體來說：
Pi = （xi/w, yi/h, w/h），其中（xi, yi）代表在行人圖像中的節點 i 坐標，（w，h）代表圖像原始的寬和高。
Si 是一個 n 維的 one-hot vector 來索引 keypoint i。如果設定的關鍵點未檢測到，那么就設置為 Pi = (-1, -1, w/h)。
Keypoint Embedding：
有了上述兩個關鍵點分支表示，首先利用可學習的 weights W 來分別學習該映射。然后，作者采用一個 refinement network 來結合兩個 part，來改善每一個關鍵點的表達：
其中，Wp 和 Ws 是兩組不同的映射權重；F(*) 是帶有幾個全連接層的優化網絡，將維度從 d1 增加為 d2。在這篇論文中，作者有兩個 hidden layers，並且設置 d1=128, d2=2048. 在 embedding 之后，可以得到一組關鍵點的特征 f。直觀的來說，人體比例的信息無法簡單地通過單個節點的特征來獲得。所以，仍然需要建模節點對之間的關系。為了達到這個目標，作者擬提出利用關系網絡來探索不同節點的關系。本文的關系網絡將兩個不同的 points 組合起來，然后輸入到兩個全卷積網絡中進行關系推理。最終 key-point embedding feature 可以通過最大化輸出來得到。整個過程可以描述為：
其中，GMP 是 global max pooling。
Cloth-Elimination Shape-Distillation（CESD）：
本文提出該模塊來提取形狀信息，並且抑制衣着信息。
Shape Distillation. 首先為了降低原始 style information，和光照條件最相關，在輸入的時候，執行 instance normalization。然后利用參數來 re-scaling 歸一化的特征，得到形狀特征：
其中，E[*], Var[*] 表示均值和方差。gs(*) 和 gb(*) 分別是 一層的 fc layer 來學習 scale 和 bias 新的參數。
Cloth Eliminating：
如圖 3 所示，給定圖像特征 和 遷移后的特征，首先通過相減，得到殘差特征：
對於 fR 來說，不可避免的帶有一些判別性的特征，和 對衣服改變較為敏感的特征。作者引入 self-attention 機制來處理這個問題。
其中，通過添加 cloth-irrelevant feature 來 re-scale shape feature，作者添加另外的卷積層來優化該特征，以得到 個體特征。類似的，作者將 cloth-relevant feature 和 normalized feature 進行相加，然后用不同的卷積層來得到最終 cloth-relevant feature：
Architecture Details：
作者這里用了兩個分類的 loss 來訓練最終的（person ID 和 cloth ID）：
Experimental Results：
==