Person reID
2020-05-28 17:16:57
Updated on GitHub: https://github.com/wangxiao5791509/Cloth_Change_Person_reID_Paper_List
Paper-list:
https://github.com/wangxiao5791509/Cloth_Change_Person_reID_Paper_List
Survey papers on person re-identification
Ye, Mang, et al. "Deep Learning for Person Re-identification: A Survey and Outlook." arXiv preprint arXiv:2001.04193 (2020). [Paper]
Benchmark Datasets
- COCAS dataset, cvpr-2020, [Paper]
- LTCC dataset, arXiv-2020, [Paper]
- Celebrities-ReID, IJCNN-2019, [Paper]
- Celeb-reID, T-CSVT 2019, [Paper]
- VC-Clothes && Real28, arXiv-2020, [Paper]
- PRCC dataset, T-PAMI, 2019, [Paper]
Paper List
Year 2020
Wan, Fangbin, et al. "When Person Re-identification Meets Changing Clothes." arXiv preprint arXiv:2003.04070 (2020). [Paper] [Project] [Dataset]
Yu, Shijie, et al. "COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification." arXiv preprint arXiv:2005.07862 (2020). [Paper] [Dataset]
Li, Yu-Jhe, et al. "Learning Shape Representations for Clothing Variations in Person Re-Identification." arXiv preprint arXiv:2003.07340 (2020). [Paper]
Qian, Xuelin, et al. "Long-Term Cloth-Changing Person Re-identification." arXiv preprint arXiv:2005.12633 (2020). [Paper] [Project]
Year 2019
Huang, Yan, et al. "Celebrities-ReID: A Benchmark for Clothes Variation in Long-Term Person Re-Identification." 2019 International Joint Conference on Neural Networks (IJCNN). IEEE, 2019. [Paper]
Yang, Qize, Ancong Wu, and Wei-Shi Zheng. "Person Re-identification by Contour Sketch under Moderate Clothing Change." IEEE Transactions on Pattern Analysis and Machine Intelligence (2019). [Paper] [Dataset]
Huang, Yan, et al. "Beyond Scalar Neuron: Adopting Vector-Neuron Capsules for Long-Term Person Re-Identification." IEEE Transactions on Circuits and Systems for Video Technology (2019). [Paper] [Project]
Year 2018 and Before
Zhang, Peng, et al. "Long-term person re-identification using true motion from videos." 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018. [Paper]
RGB-D for Cloth-change reID
Barbosa, Igor Barros, et al. "Re-identification with rgb-d sensors." European Conference on Computer Vision. Springer, Berlin, Heidelberg, 2012. [Paper]
Munaro, Matteo, et al. "3D reconstruction of freely moving persons for re-identification with a depth sensor." 2014 IEEE International Conference on Robotics and Automation (ICRA). IEEE, 2014. [Paper]
Haque, Albert, Alexandre Alahi, and Li Fei-Fei. "Recurrent attention models for depth-based person identification." Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition. 2016. [Paper]
==== 算法簡介：
1. Huang, Yan, et al. "Celebrities-ReID: A Benchmark for Clothes Variation in Long-Term Person Re-Identification." 2019 International Joint Conference on Neural Networks (IJCNN). IEEE, 2019. [Paper]
這個算法提出一種結合局部和全局圖像塊進行特征學習的baseline方法。分為兩個階段進行訓練：
第一個階段，利用全身的圖像進行學習；第二個階段，利用骨骼定位算法（姿態估計）得到18個關鍵點，然后推理出身體的大致幾個軀干，摳出來計算對應的歐氏距離，作為最終相似度。
另外就是提出一個換衣服的數據集 Celebrities-reID：
2. Huang, Yan, et al. "Beyond Scalar Neuron: Adopting Vector-Neuron Capsules for Long-Term Person Re-Identification." IEEE Transactions on Circuits and Systems for Video Technology (2019). [Paper] [Project] Celeb-reID
在上一個數據集的基礎上，作者進行了拓展。提出了更大的數據集和新的baseline方法。
如上圖所示，本文將膠囊網絡引入 reID 領域，膠囊網絡對每一個ID輸出的不再是常規 FC 的一個值，而是一個向量，其中向量的長度表達該示例是否存在（存在的行人ID的似然性）， 第二個維度用來建模該示例的屬性（同一個ID，但是不同衣服）。具體來說，作者首先用一個 DenseNet-121來提取給定圖像的視覺特征，然后將該輸出分別輸入到三個不同的分支中。第一個是膠囊網絡分支，其實也就是常規的進行分類，這里采用的 loss 為 margin loss。另外兩個分支分別是 FSR 和 SEA機制。FSR是常規的fc分類，加了dropout來防止過擬合。SEA引入了Squeezeand-Excitation (SE) block 來得到更加具有判別性的特征。
3. Yu, Shijie, et al. "COCAS: A Large-Scale Clothes Changing Person Dataset for Re-identification." arXiv preprint arXiv:2005.07862 (2020). [Paper] [Dataset]
本文提出一種新的行人在識別，並且是換衣服的再識別任務：給定 prob 和 衣服模板，到 gallery 中去匹配。
此外，作者設計了一個 baseline 方法來結合衣服的特征 和 行人的生物特征，聯合起來進行再識別。為了完成這個任務，作者提出了一個新的行人換衣服的數據集，數據處理方法如下所示：
大致可以總結為如下幾個步驟：
1). Person Clustering: 利用 reid 算法進行聚類，然后手工扔掉 outlinear 的圖像；
2). Face Detection：選擇一張作為 anchor image，然后對其進行人臉檢測；
3). Face Retrieval：利用 FaceNet 抽取人臉特征，選擇 top-k 近鄰的圖像；
4). Manual Annotation：手動選擇真正匹配的行人圖像。
作者對行人選擇 2-3 個衣服，然后每一個衣服包含 2-5 張圖像。有了上述圖像，作者設計了如下的網絡結構來學習行人生物特征 和 衣服的特征，進行檢索。該模塊包含兩個部分：
如上圖所示，一個是對行人提取生物特征，一個是學習衣服的特征。
作者提到，在 BC-Net 中，衣服檢測器 和 特征提取器是分別進行訓練的。
4. Li, Yu-Jhe, et al. "Learning Shape Representations for Clothing Variations in Person Re-Identification." arXiv preprint arXiv:2003.07340 (2020). [Project] [Paper] [Code] [Dataset]
5. Wan, Fangbin, et al. "When Person Re-identification Meets Changing Clothes." arXiv preprint arXiv:2003.04070 (2020). [Paper] [Project] [Dataset]
本文提出兩個數據集，一個是真實數據集，另外一個是虛擬數據。但是量都不是很大：
另外就是提出一種基准方法，是將常規的 reid 算法（ECCV 2018的一個算法，可以同時提取整體和局部特征的reID算法）和人臉檢測相結合，如上圖所示。作者做了一些實驗，說明了人臉信息對最終reID效果提升明顯。
6. Yang, Qize, Ancong Wu, and Wei-Shi Zheng. "Person Re-identification by Contour Sketch under Moderate Clothing Change." IEEE Transactions on Pattern Analysis and Machine Intelligence (2019). [Paper] [Dataset]
中山大學鄭老師的工作，從行人的輪廓信息來進行換衣服的行人再識別。他們首先用輪廓提取算法得到行人的輪廓圖，然后用提出的SPT算法對這些輪廓圖進行轉換。這里的SPT算法是將笛卡爾坐標系轉換為空間極坐標系，然后利用CNN來提取這些新的圖像。再進行分類，結合了交叉熵損失函數和三元組損失函數。此外，作者也提出一個新的換衣服數據集，包含221個個體，總共33698張圖。
7. Zhang, Peng, et al. "Long-term person re-identification using true motion from videos." 2018 IEEE Winter Conference on Applications of Computer Vision (WACV). IEEE, 2018. [Paper]
本文提出利用運動信息來協助長期的行人再識別。如上圖所示，模型訓練部分來學習包含判別性運動的碼本，特征提取模塊來編碼運動類型來產生統一的特征向量。特別的，每一個階段都是基於軌跡對齊的運動統計來對應不同級別的運動基本動作。
作者認為不同的身體部位的運行模式是不同的。所以，作者認為僅僅從全局的角度來看待人體的運行是不足的。作者將整個人體分為三個級別，每一個都包含特定數量的圖像塊，對應為 head，上肢，下肢，上腿部分和下腿部分。將這幾種模式組合起來，大致有8個肢體-運動單元，如下圖所示：
為了捕獲一個行人的運動模式，作者提取對每一個body-action unit的稠密軌跡。通過計算稠密光流信息，來跟蹤采樣的特征點：
作者采用兩種流行的行為特征來建模目標物體的運動，一個是相對運動Motion Boundary Histogram (MBH)，一個是絕對運動Histograms of Optical Flow (HOF)。然后用高斯模型來學習軌跡對齊的描述符。通過這種方式來學習局部和全局的運動統計信息，將這些特征進行組合，得到最終聯合的表達 FITD。