Parallel Tracking and Verifying: A Framework for Real-Time and High Accuracy Visual Tracking
本文目標在於 tracking performance 和 efficiency 之間達到一種平衡。將 tracking 過程分解為兩個並行但是相互協作的部分:
一個用於快速的跟蹤(fast tracking);
另一個用於准確的驗證(accurate verification)。
本文的 Motivation 主要是:
1. 大部分跟蹤的序列,都是比較平坦簡單的,但是存在有些非常具有挑戰性的片段的存在,使得跟蹤的結果不是非常的好。如果處理不好,還會導致跟蹤的丟失。本文利用 verifiers 將進行這些關鍵點的處理。
2. 計算機視覺當中多線程計算已經非常普遍,特別是 SLAM。By splitting tracking and mapping into two parallel threads, PTAM (parallel tracking and mapping) [23] provides one of the most popular SLAM frameworks with many important extensions.
3. 最近快速、准確的跟蹤算法提供了有效的 building blocks,並且鼓勵我們去尋找組合的解決方法(呵呵了。。。)
創新點:
1. we propose to build real-time high accuracy trackers in a novel framework named parallel tracking and verifying (PTAV).
2. The key idea is : while T needs to run on every frame, V does not. As a general framework, PTAV allows the coordination between the tracker and the verifier: V checks the
tracking results provided by T and sends feedback to V; and V adjusts itself according to the feedback when necessary. By running T and V in parallel, PTAV inherits both the high
efficiency of T and the strong discriminative power of V.
========== 分割線 =========
======== 以上是 PTAV framework 的流程圖,也是兩個 tracker 和 verifiers 之間互相協助的過程。
PTAV Implementation:
1. Tracking 的過程就是利用了 fDSST 跟蹤算法,沒啥好說的;但是不同的是, the tracker in this paper,存儲了所有的中間結果,since sending out last verification request to ensure fast tracing back.
2. Verifying 是采用了 Siamese network。
==>> 當從 tracking 過程中得到的跟蹤結果,如果其驗證得分低於一個閾值,那么 V 就認為該跟蹤結果不可靠,或者說認為已經跟蹤失敗了。
此時,V 利用Siamese network,在進行一次檢測。具體做法就是利用 region pooling layer 進行一次前傳,然后得到許多候選的樣本,然后從中選擇最好的那個作為檢測的結果:
當有了這些檢測結果之后,我們在進行一次 check,確認下檢測結果是否可信? 其實就是根據檢測的置信度和某一閾值進行比較,如果不符合要求,就放大搜索區域,進行再一次的搜索。
============================= 算法部分完畢
實驗結果:
想想真可怕,作者居然不辭勞苦的跑了四個數據集。。。