Introduction
（1）Motivation：
解決跨模態reid的方法主要有兩類：模態共享特征學習（modality-shared feature learning）、模態特定特征補償（modality-specific feature compensation）。模態共享特征學習旨在將不同模態的圖片映射到同一個特征空間，但這種方法的性能受限，一些特定的信息（如RGB的顏色、IR的熱度）被當做冗余信息；模態特定特征補償旨在對某一模態缺失的特征信息進行補償（可以采用GAN），但GAN在IR圖像生成彩色的補償方案有多種，很難得到正確的顏色補償。
（2）Contribution：
為了解決上述兩種方法的缺陷，作者提出一個特定跨模態特征轉換算法（cross-modality shared-specific feature transfer algorithm，cm-SSFT）。每個樣本接受臨近樣本的模態特征，同時將自身的模態特征分享出去。方法的創新點如下圖：
Cross-Modality Shared-Specific Feature Transfer
（1）框架：
定義：R：RGB modality；I：IR modality；S：shared space； H：shared features；P：specific features。
（2）Two-stream feature extractor：
輸入的圖像為：
，通過卷積神經網絡提取到特征：
為了確保兩類特征都具有較好的判別性，分類損失函數為：
其中
為輸入的
屬於標簽
的概率。
單模態三元組損失以及交叉模態三元組損失：
（3）Shared-specific transfer network:
RGB和IR模態的特征進行級聯，得到統一規格的特征[RGB特征；共享特征；IR特征]，認為每一個樣本都有三段特征。只是對於RGB樣本，其IR特異部分是0。同樣對於IR樣本，RGB特異部分是0：
受到GCN（graph convolutional network）的啟發【待閱讀】，進行特征融合。
① 親和力模型：
表示相同模態之間的親和力，i 和 j 都屬於模態 m，即
；
表示不同模態之間的親和力，i 和 j 屬於不同的模態，即
距離計算方法為正規化歐式距離：
親和力矩陣：
其中
說最鄰近選擇函數，每一行都選擇最大的k個值，其余設置為0（這里選擇距離值最大的是因為距離函數的定義，值越大距離越近）。親和力矩陣可以看做是權重，相似度越大，距離越小，權重越大。
② 信息傳播：
將RGB、IR的三段特征級聯，得到特征矩陣：
加權過程：
其中 D 為 A 進行對角求和得到的對角矩陣
（為什么要求D？），W 為參數矩陣。
理解：A 的每一行都表示該圖片特征與其它RGB、IR圖片特征的相似度權重，Z 的每一列都表示RGB、IR圖片的特征，A 和 Z 的相乘，計算得到的每個元素都是權重 A 對 特征 Z 的加權結果。
提取得到最終特征：
損失函數類似上面，分為兩種，分類損失和三元組損失：
③ 互補學習：
由於共享特征和模態特定特征的疊加依然會影響效果。作者提出了模態自適應來從共享特征中篩選出特定特征。
strategy 1：
作者采用了生成對抗的策略，來使得共享特征盡量同特定特征不相關。通過三個全連接層實現模態判別器，用來判別共享特征的模態：
其中
為特征
屬於模態 m 的概率。
判別器盡量區別出共享特征的模態，生成器盡量生成共享特征來騙過判別器（盡量大）。
strategy 2：
為了使特定特征區別於共享特征，作者提出了投影對抗策略，將特定特征投影到共享特征中，損失函數如下：
在生成階段盡量將投影差距擴大，但在對抗階段盡量將投影差距減小。
strategy 3：
前兩部分學習到了共享特征和特定特征之間不包含相互關聯的信息，為了增強這兩個特征的完整性，我們在每個模態的特征之后使用一個解碼器網絡來重建輸入，即：
重構損失為：
（4）優化：
特征學習的損失函數為：
生成對抗的min-max部分：
優化步驟：
Experiments
