Know Your Surroundings: Exploiting Scene Information for Object Tracking
2020-03-25 17:52:24
Code: 尚無
1. Background and Motivation:
本文將背景的信息建模到單目標跟蹤框架中，在 DiMP 跟蹤器的基礎上又得到了提升。其實這個想法很直接，就是想借助場景中的其他物體來協助定位真正的目標物體。因為現有的 Siamese network 雖然在常規的 video 上效果很好。但是，他們並么有考慮到場景中的其他物體，這導致相似性物體存在時，有可能使得模型漂移。
如上圖所示，如果僅僅根據第一幀，根本無法判別到底哪一個黑色的物體才是真正的目標物體。但是如果有了臨近的視頻幀，通過對比背景物體，就可以知道了。
2. The Proposed Method：
本文提出一種新的跟蹤框架可以探索場景信息來改善跟蹤的結果。當前頂尖的跟蹤器僅僅依賴於物體的外觀模型來獨立的處理每一幀，本文的方法可以從前面的視頻幀上傳遞場景信息。這提供了豐富的環境因素，例如 相似物體的位置，可以明顯的改善物體的定位。
如圖 2 所示，本文的跟蹤器會tracking 場景中的所有物體，然后傳遞任何關於他們的信息來幫助目標物體的定位。而達到這個目標，作者是通過維持一個目標近鄰的每一個區域的 state vector。該 state vector 可以編碼是否一個特定的 patch 塊對應目標物體，背景 或者是 相似物體。隨着目標物體的移動，狀態向量通過預測連續兩幀之間的稠密對應關系來實現傳遞。傳遞的狀態向量隨后和目標外觀模型進行融合，以預測最終的目標置信得分進行定位。最終，預測器的輸出和目標模型用 ConvGRU 來更新狀態向量。
2.1. Tracking with Scene Propagation:
跟蹤期的預測包含兩個信息：1). 當前幀的外觀；2). 隨着時間傳遞的場景信息。
外觀模型的目標是區分背景中的目標物體。目標模型有能力從遮擋中恢復和提供長期的魯棒性。然而，這種模型卻忽略了場景中的其他物體。為了提取場景信息，作者對目標近鄰的每一個區域都保持了一個狀態向量。 具體的，對於每一個空間位置 r，作者保持了一個 S-維的狀態向量 h。該狀態向量包含了 cell 中的信息，可以用於單目標跟蹤。其可以編碼是否一個特定的 cell 對應前景，背景，或者是干擾物體。需要注意的是，作者沒有顯示的強調這種編碼，但是讓 h 是 generic representation，這種編碼是通過最小化跟蹤損失來端到端訓練出來的。
在第一幀的時候進行狀態向量的初始化，利用的是一個小的網絡，其將第一幀中目標標注 B0 作為輸入。該網絡輸出一個 single-channel label map 來指定目標的位置。這是通過兩個卷積層來實現的，以得到初始的狀態向量 h0。狀態向量包含定位信息，特別是們對應的圖像區域。所以，隨着物體在序列中移動，也要隨着進行狀態的更新和傳遞。給定一個新的視頻幀 t，作者將狀態 $h_{t-1}$ 從前一幀到當前幀進行傳遞。這是通過一個狀態轉移模型實現的：
此處，$x_t, x_{t-1}$ 是當前幀和前一幀的深度特征表達。輸出 $\hat{h_{t-1}}$ 代表了空間傳遞狀態，彌補了物體和背景的運動。傳遞可靠性圖 表明了狀態傳遞的可靠性。即，一個較高的值表明：the state at r has been confidently propagated。在定位的時候，可靠性圖可以用於決定是否可以相信傳遞的狀態向量。
為了預測目標物體的位置，作者利用了外觀模型和傳遞向量。后者捕獲了場景中所有物體的有價值的信息，補充了 target-centric information。作者將狀態向量，和 可靠性得分 以及 外觀模型的預測輸入到 預測模塊 P 中。該預測器組合了這些信息來提供融合后的目標置信度得分：
通過選擇最高置信度的位置來定位第 t 幀的目標位置。最終，作者利用融合后的置信度得分，以及外觀模型輸出來更新狀態向量：
循環狀態更新模塊可以利用當前幀 score map 的信息，即：重新設置不准確的狀態向量，或者建立一個新進入場景的相似性物體。這些更新后的狀態向量 ht 然后被用於跟蹤下一幀的物體。跟蹤的整個過程可以參考算法 1。
3. Experiment：
速度：RTX-2080 上達到 20 FPS。
