title: 《Long-Term Correlation Tracking》笔记
date: 2017-06-10
categories: 笔记
tags: [笔记，跟踪，相关滤波]
《Long-Term Correlation Tracking》论文下载 代码下载
Chao Ma, Xiaokang Yang, Chongyang Zhang, Ming-Hsuan Yang
引言
在跟踪过程中，由于deformation, abrupt motion, heavy occlusion, out of view有着明显的外观改变，所以本文关注于ling-term tracking。
对于前期工作有两点观察：
- 建模外观时间关系模型很重要，其中外观包括目标信息和上下文信息。
- 增加检测模块。（1）估计尺度变化。（2）redetection。
在tracking-by-detection存在两个重要问题：
- stability-plasticity dilemma，解决方法是对于目标外观和上下文信息分别建模。
- sampling ambiguity，解决方法是循环矩阵。
将跟踪任务分解为：
- translation
- scale estimation
- re-detection
相关工作
相关跟踪：MOSSE-CSK-KCF-CN-DSST
tracking-by-detection：TLD-MEEM-Struck
跟踪器组成
相关跟踪
典型方法
用滤波器\(\omega\)对目标外观建模：
\[\omega=\mathop{argmin}_{\omega}\sum_{m,n} \]
\[\omega=\mathop{argmin}_{\omega}\sum_{m,n}|\phi(x_{m,n})\cdot\omega-y(m,n)|^2+\lambda|\omega|^2 \]
其中\(\phi\)表示核函数，\(y\)表示标签，\(\lambda\)表示正则化参数
\[\omega=\sum_{m,n}\alpha(m,n)\phi(x_{m,n}) \]
\[A=\mathcal F(\alpha)=\frac{\mathcal F(y)}{\mathcal F(\phi(x)\cdot\phi(x))+\lambda} \]
跟踪结果为：
\[\hat{y}=\mathcal F^{-1}(A\odot\mathcal{F}(\phi(z)\cdot\phi(\hat{x})) \]
本文不同
对于每一帧基于相关滤波训练两个回归模型：
- 时间上下文模型\(R_c\)，包括目标和上下文信息，在遮挡情况下，可以根据背景判断目标。其中，需要去除边界效应，对于提取的特征需要用cosine window加权。该模型用学习率\(\alpha\)对每一帧图像升级。$$\hat{x}^t=(1-\alpha)\hat{x}^{t-1}+\alpha x^t$$ $$\hat{A}^t=(1-\alpha)\hat{A}^{t-1}+\alpha A^t$$
- 通过已跟踪到的可信的目标，学习另一种判别回归模型\(R_t\)，使用\(\hat y\)的最大值决定跟踪结果的置信度。为了保持模型的稳定，本文使用预定义阈值\(\mathcal{T}_\alpha\)，只有当\(max(\hat y)>\mathcal{T}_\alpha\)才升级\(R_t\)。注意，\(R_t\)模型中特征未使用余弦窗加权。
- 在跟踪中，构建估计位置附近的目标金字塔用以尺度估计。P和Q指目标的大小，N为尺度数\(S=\{a^n|[-\frac{N-1}{2}],[-\frac{N-3}{2}],\cdots,[\frac{N-1}{2}]\}\)，对于每个\(s\in S\)提取以\(sP\times sQ\)为大小的估计位置为中心的图像块\(J_s\)，uniformly resize all patches with size \(P\times Q\)，提取HOG特征，构建尺度特征金字塔。\(\hat y_s\)为\(R_t\)对\(J_s\)的响应，最优尺度\(\hat S\)为$$\hat S=\mathop{argmin}_s(max(\hat y_1),\cdots,max(\hat y_s))$$相应的如果\(max(\hat y_s)>\mathcal{T}_\alpha\)，\(R_t\)才升级。
在线检测
设置阈值\(\mathcal{T}_\gamma\)，为了计算的效率，没有使用回归模型\(R_t\)，而是使用在线随机fern分类器（代码里用的是SVM分类器）。当满足阈值条件时，开始检测。
实施
特征
训练\(R_c\)：HOG，31bins，灰度直方图，8bins，亮通道局部灰度直方图和非参局部rank transformation（这是啥），8bins。总共47通道的特征。
训练\(R_t\)：HOG特征。
训练radom fern：跟踪结果resize成15*15的大小，形成灰度特征向量。
核函数
高斯核函数
随机ferns
使用KNN分类器，选择最置信的跟踪结果作正样本。