Introduction
該文章首次采用深度學習方法來解決基於視頻的行人重識別，創新點：提出了一個新的循環神經網絡架構（recurrent DNN architecture），通過使用Siamese網絡（孿生神經網絡），並結合了遞歸與外貌數據的時間池，來學習每個行人視頻序列的特征表示。
Method
（1）特征提取架構：
第一層：卷積神經網絡，提取每個行人的外貌特征向量；
第二層：循環神經網絡，讓網絡更好的提取時空信息；
第三層：時間池，讓網絡將不同長度的視頻序列總結為一個特征向量.
Siamese網絡：通過訓練，將來自同一個人的視頻特征變得更近，將來自不同人的視頻特征變的更遠.
（2）輸入：
包括兩部分：光流（optical flow）、顏色通道（colour channel）
光流對行人的步態等動作線索進行編碼，而顏色通道對行人的樣貌和穿着進行編碼.
（3）卷積神經網絡：
對每一個步行時刻（time-step，可以理解為組成步態周期的一個單元）進行卷積神經網絡處理，把輸入的圖片記為 x，則輸出為向量 f = C(x).
卷積神經網絡架構：
激活函數采用tanh，池化層采用最大maxpool，即：
s = s(1), ..., s(T) 表示為一個視頻序列，T 為視頻序列的長度，s(t) 為在時間 t 時的圖片幀.
每個圖片都要經過CNN來產生一個特征向量，即 f(t) = C(s(t))，其中 f(t) 是CNN最后層的向量表示.
（4）遞歸神經網絡：基礎介紹【傳送門】
f(t) 表示 s(t) 在CNN最后層的向量表示，則RNN輸出為：
o(t) 規格：e * 1
f(t) 規格：N * 1
r(t-1) 規格：e * 1
Wi 規格：e * N
Ws 規格：e * e
f(t) 包含當前時刻的圖像信息，r(t-1) 包含上一時刻的圖像信息，對所有時刻的特征使用全連接層. r(t) 初始為零向量.
（5）時間池：
雖然RNNs可以捕獲時間信息，但依然存在不足：
① RNN的輸出偏向於較后的時刻；
② 時間序列分析通常需要在不同的時間尺度下提取信息（如語音識別中，提取的尺度包括：音節、單詞、短語、句子、對話等）.
解決方法：增加一個時間池化層（temporal pooling layer），該層從所有時刻收集信息，避免了偏向后面時刻的問題.
在時間池化層中，所有時刻RNN后的輸出為{o(1), ..., o(T)}，提出兩個方法：
① 平均池化層：
② 最大池化層：（即向量的每一個元素都是從 T 個時刻中的對應位置挑選出的最大值）
（6）訓練策略：
① 孿生神經網絡：基礎知識【傳送門】
給出一對視頻序列 (si, sj)，每個序列都通過CNN、RNN提取出特征向量，即 vi = R(si)，vj = R(sj)，孿生神經網絡的訓練目標為：（采用的距離為歐式距離）
② 識別驗證：
預測特征向量 v 是第 q 個身份的概率為：
一共有 K 個可能身份，Wc 和 Wk 表示權重矩陣 W 的第 c 和 k 列.
③ 損失函數：
Experiments
（1）實驗設置：
① 數據集 ：iLIDS-VID、PRID-2011，一半用於訓練，一半用於測試，運行10次計入平均值.
② 參數設置：孿生神經網絡中 m = 2，特征空間維度 e = 128，梯度下降學習率 α = 1e-3，batchsize = 1，epochs = 300.
③ 硬件條件：GTX-980 GPU（運行1天）
④ 數據預處理：采用了裁剪和鏡像的形式對數據進行增強. 將圖像轉為YUV色域，每個顏色通道被標准化為零均值和單位方差，使用Lucas-Kanade算法【傳送門】計算每對幀之間的水平和垂直光流通道. 光流通道正規化為[-1,1]. 第一層神經網絡的輸入有5層通道，其中3層為顏色通道，2層為光流通道.
（2）實驗結果：
① 比較了有無循環連接、有無光流特征情況下的實驗結果.
② 比較時間池中使用平均池化、最大池化和基准方法（其它參考文獻中的方法）的效果.
③ 比較不同視頻序列長度的效果.
④ 與其它方法的對比.
⑤ 跨數據集測試，在數據集A訓練，但在數據集B測試.
