基於張量秩一分解的多目標跟蹤方法

張量秩一分解

數據關聯

多目標跟蹤

讀‘X. Shi, H.Ling, J.Xing, W.Hu, Multi-target Tracking by Rank-1 Tensor Approximation[J],CVPR,2014’筆記

這篇文章利用了張量的秩一分解建模了多目標跟蹤中的data association問題。

首先我們了解下張量的基本知識

張量

張量是向量的推廣，階張量表示為，每一個元素表示為.

張量的n模積：張量與矩陣的n模積表示為,得到的是新的張量.

顯然，當張量與向量進行n模積時，新的張量的階數就減少一階。

秩一張量：如果一個K階張量能夠表示成K個向量的外積，那么該向量稱為秩一張量，即

張量的近似秩一分解：對於K階張量,尋找K個單位向量和尺度因子,使重構誤差

最小，則稱之為張量近似秩一分解。

令,那么上述最小化問題轉化為

因為都是單位向量，所以,於是.
那么等價於

這里表示點乘.

所以張量的近似秩一分解問題就轉化為下面的最大化問題

Multi-Dimensioanl Assignment (MDA)

那么張量和多目標跟蹤有毫子關系呢？我們先來看看多維數據關聯的目標式

這里面呢其實是用來給不同的軌跡標號的，表示第一幀中的第個目標在該軌跡上。

將軌跡線表示成下面的形式更容易理解

就表示前后兩幀中目標的關聯，。

考慮到關聯匹配中都是非負變量，我們將(2)式寫成類似於(1)式的形式

這里的是對兩幀之間的關聯進行的重新編號，如下圖所示。

1477145036424.jpg

所以(3)式和(1)式的不同點就在於約束條件的不同，張量的秩一分解中要求是單位向量，而(3)式中要求得到的滿足對應的關聯矩陣的每行每列的單位范數。

文中給出了一種單位范數約束的張量近似迭代算法，如下

1477145485732.jpg

並且給出了算法的收斂性證明，我覺得這點很重要~

1477145603758.jpg

1477145652159.jpg

而(3)式中要求的是行列分別單位化，所以這里對算法進行稍微的修改，在每一次更新后對所對應的矩陣進行行列的單位化，下面給出了具體算法，其實能發現算法5和算法4除了歸一化方式不一樣，其他都一毛一樣。

1477146182293.jpg

這里 對應着第n個關聯集合中的第 個關聯。對應的是 , 對應的是 所對應的關聯矩陣。

---

基於張量近似的多目標跟蹤算法

在實際應用中，對視頻進行分批處理，當然批之間存在部分時間重疊，每一批使用算法5得到軌跡段，然后通過重復的點實現軌跡段的串接，形成更長的軌跡。

1477146432065.jpg

張量的構建

算法已經有了，現在問題就是張量的構建問題了，其元素項表示由連續的兩幀軌跡假設組成的全局關聯假設所對應的能量。

文中給了兩種組織形式，分別類似於兩幀匹配問題和網絡流優化問題。

如果將軌跡的全局能量表示成局部兩幀關聯的能量之和，那么求解問題就轉化為求解K個兩幀匹配問題的最優解

其中表示第i幀中目標的個數。

如果將軌跡的全局能量表示成局部兩幀關聯的能量之積，那么求解問題就和網絡流的優化形式相似。

關聯假設的產生

實際應用中相鄰幀之間的目標往往距離較近的才可能存在關聯關系，所以為了降低張量的大小，可以對關聯加上區域約束，即目標僅可能與一定范圍內的下幀中目標產生關聯。

對於目標的遮擋、進入和離開問題，論文中引入了虛擬目標的概念。虛擬目標沒有實際的物理意義例如位置、表觀等，其作用是將孤立的目標引導出去，避免干擾存在真實關聯的目標。對每一幀中每個目標的檢測，都在相鄰幀中設置一個對應的虛擬目標。

算法的初始和終止

三種初始方案：

1. 所有的局部關聯均等

2. 權值初始化，按照關聯的強度賦予不同的權重

3. 決策初始化，先用匈牙利算法進行兩幀關聯，然后對結果進行擾動(這里要保證, 0-1將使算法陷入靜態點)
   初始化之后必須行列規范化

兩種終止方案：

1. 滿足最大迭代次數

2. 相鄰迭代能量變化微小

后續處理：
因為最終輸出要求是0-1值，所以要對近似張量分解得到的結果進行二值處理，這個時候可以采用匈牙利算法尋找使全局軌跡概率最大的軌跡。

分析與總結

論文的主要創新點在於將MDA(multi-dimensional association)問題放到了張量的近似秩一分解的框架中，通過對張量的分解來獲得相鄰幀之間的關聯關系。

由於標准的張量秩一分解中基向量要求規范化的，而在MDA問題中的約束是對應的關聯矩陣行列都是規范化的，所以論文中給出了一種迭代算法，並通過證明算法每一步都能夠使目標函數上升推斷出算法是收斂的(單調有界)。

接下來我們來看一看該模型是怎么包括MTT中待解決的幾個要素的。

1. 觀測變量與狀態變量。該模型直接使用的是觀測變量，也就是說僅僅是將檢測到的變量進行MDA，並不能保證跟蹤結果的光滑等特性

2. 動態模型。這部分內容主要包括運動的慣性問題，體現在張量的構建中，論文中給出的體現了這部分內容

其中

其中分別表示該軌跡上k，k+1幀目標的速度矢量，顯然第一項表示速度方向差異，第二項表示速度大小差異。

3. 表觀模型。顯然相鄰幀中同一目標應該是變化緩慢的,(4)式中則表示的是表觀相似性。

其中第一項計算的是直方圖的交，第二項刻畫的關聯目標的面積大小相似性。

4. 遮擋

5. 軌跡開始與終止
   論文中僅僅在兩幀關聯時添加了一個虛擬節點，用來處理遮擋、軌跡開始和軌跡終止。
   個人覺得這里處理的太粗糙，沒有考慮到目標被遮擋程度的問題，也沒有說明什么情況下認為是漏檢，什么情況下是軌跡終止，更重要的是沒有說明什么情況下認為是軌跡的開始，因為不能保證第t幀結束的軌跡與第t+1幀的虛擬目標和第t+1幀新進入的目標誰的關聯性更大。

Note. 論文中的算法可以並行處理。且算法中將的行列規范化松弛成規范化進行軟決策，能夠減少引入關聯誤差的風險。