論文閱讀筆記（五十）多模態行人重識別文獻閱讀 (未完結)

RGB-Infrared Cross-Modality Person Re-Identification【ICCV2017】

該論文開創了RGB-IR跨模態行人重識別分支領域。

本文首先列舉了三類適用於跨模態的網絡模型：

① 單分支結構：

② 雙分支結構：

③ 不對稱全連接層結構：

作者提出了Deep Zero-Padding方法。首先把RGB圖像的3維壓縮為1維，然后RGB-IR雙模態各占1維，對應缺失的維度補0，再輸入神經網絡中。

實驗結果（在SYSU-MM01數據集上）：

 

Hierarchical Discriminative Learning for Visible Thermal Person Re-Identification【AAAI2018】

源碼【傳送門】

本文提出了一個深度學習、度量學習結合的方法VT-REID，同時對特定模態度量和共享模態度量進行優化。特定模態度量壓縮同模態同ID的行人距離，共享模態度量學習一個能夠將不同模態轉到相同特征空間的投影（簡單概括：前者壓縮類內距離，后者用於跨模態的ID判別）。

 方法概述：

首先通過一個雙分支CNN Network（TONE），學習得到跨模態共享特征，采用contrastive loss來壓縮跨模態之間的gap，具體如下，其中，x、z為雙分支FC2后的輸出。 

提取得到特征后采用Hierarchical Cross-modality Metric Learning（HCML）方法來優化特定模態度量和共享模態度量，目標函數如下，其中X、Z為TONE中提取得到的特征向量，V、T表示特定模態度量矩陣，M為共享模態度量矩陣。

Modality-spacific Terms：用於降低同模態同ID下的特征距離，其中K₁、K₂為兩種模態ID的數量，n_i、n_j為第i、j個ID存在對應模態的圖像數量，h損失計算為。

 

Modality-shared Term：用於將不同模態的特征投影到同一個特征空間。如果i、j是正樣本對，權重為；如果是負樣本對，權重為。

實驗結果（在RegDB數據集上）：

(未完成...)