title: 《Long-Term Correlation Tracking》筆記
date: 2017-06-10
categories: 筆記
tags: [筆記，跟蹤，相關濾波]
《Long-Term Correlation Tracking》論文下載 代碼下載
Chao Ma, Xiaokang Yang, Chongyang Zhang, Ming-Hsuan Yang
引言
在跟蹤過程中，由於deformation, abrupt motion, heavy occlusion, out of view有着明顯的外觀改變，所以本文關注於ling-term tracking。
對於前期工作有兩點觀察：
- 建模外觀時間關系模型很重要，其中外觀包括目標信息和上下文信息。
- 增加檢測模塊。（1）估計尺度變化。（2）redetection。
在tracking-by-detection存在兩個重要問題：
- stability-plasticity dilemma，解決方法是對於目標外觀和上下文信息分別建模。
- sampling ambiguity，解決方法是循環矩陣。
將跟蹤任務分解為：
- translation
- scale estimation
- re-detection
相關工作
相關跟蹤：MOSSE-CSK-KCF-CN-DSST
tracking-by-detection：TLD-MEEM-Struck
跟蹤器組成
相關跟蹤
典型方法
用濾波器\(\omega\)對目標外觀建模：
\[\omega=\mathop{argmin}_{\omega}\sum_{m,n} \]
\[\omega=\mathop{argmin}_{\omega}\sum_{m,n}|\phi(x_{m,n})\cdot\omega-y(m,n)|^2+\lambda|\omega|^2 \]
其中\(\phi\)表示核函數，\(y\)表示標簽，\(\lambda\)表示正則化參數
\[\omega=\sum_{m,n}\alpha(m,n)\phi(x_{m,n}) \]
\[A=\mathcal F(\alpha)=\frac{\mathcal F(y)}{\mathcal F(\phi(x)\cdot\phi(x))+\lambda} \]
跟蹤結果為：
\[\hat{y}=\mathcal F^{-1}(A\odot\mathcal{F}(\phi(z)\cdot\phi(\hat{x})) \]
本文不同
對於每一幀基於相關濾波訓練兩個回歸模型：
- 時間上下文模型\(R_c\)，包括目標和上下文信息，在遮擋情況下，可以根據背景判斷目標。其中，需要去除邊界效應，對於提取的特征需要用cosine window加權。該模型用學習率\(\alpha\)對每一幀圖像升級。$$\hat{x}^t=(1-\alpha)\hat{x}^{t-1}+\alpha x^t$$ $$\hat{A}^t=(1-\alpha)\hat{A}^{t-1}+\alpha A^t$$
- 通過已跟蹤到的可信的目標，學習另一種判別回歸模型\(R_t\)，使用\(\hat y\)的最大值決定跟蹤結果的置信度。為了保持模型的穩定，本文使用預定義閾值\(\mathcal{T}_\alpha\)，只有當\(max(\hat y)>\mathcal{T}_\alpha\)才升級\(R_t\)。注意，\(R_t\)模型中特征未使用余弦窗加權。
- 在跟蹤中，構建估計位置附近的目標金字塔用以尺度估計。P和Q指目標的大小，N為尺度數\(S=\{a^n|[-\frac{N-1}{2}],[-\frac{N-3}{2}],\cdots,[\frac{N-1}{2}]\}\)，對於每個\(s\in S\)提取以\(sP\times sQ\)為大小的估計位置為中心的圖像塊\(J_s\)，uniformly resize all patches with size \(P\times Q\)，提取HOG特征，構建尺度特征金字塔。\(\hat y_s\)為\(R_t\)對\(J_s\)的響應，最優尺度\(\hat S\)為$$\hat S=\mathop{argmin}_s(max(\hat y_1),\cdots,max(\hat y_s))$$相應的如果\(max(\hat y_s)>\mathcal{T}_\alpha\)，\(R_t\)才升級。
在線檢測
設置閾值\(\mathcal{T}_\gamma\)，為了計算的效率，沒有使用回歸模型\(R_t\)，而是使用在線隨機fern分類器（代碼里用的是SVM分類器）。當滿足閾值條件時，開始檢測。
實施
特征
訓練\(R_c\)：HOG，31bins，灰度直方圖，8bins，亮通道局部灰度直方圖和非參局部rank transformation（這是啥），8bins。總共47通道的特征。
訓練\(R_t\)：HOG特征。
訓練radom fern：跟蹤結果resize成15*15的大小，形成灰度特征向量。
核函數
高斯核函數
隨機ferns
使用KNN分類器，選擇最置信的跟蹤結果作正樣本。