Abstract
針對用於多目標跟蹤的數據關聯（data association），本文提出了一種基於網絡流（network flow）的優化方法。將最大后驗概率(maximum-a-posteriori：MAP)數據關聯問題映射到滿足軌跡上非重疊（non-overlap）約束的成本流網絡（cost-flow network）。通過網絡的最小成本流算法（a min-cost flow algorithm），可找到最優的數據關聯。擴展該網絡：包含一個顯式遮擋模型(EOM)，可用於處理存在長時間（long-term）目標間遮擋（inter-object occlusions）現象的跟蹤。在原算法基礎上，采用迭代法可求解基於EOM的網絡。軌跡的初始化和終止以及潛在的假觀測（potential false observations）都由該框架內在地建模。該方法效率高，並且不需要假設剪枝（hypotheses pruning）。在兩個公開的行人數據集上，通過與之前的研究結果進行性能比較，說明了本方法的改進效果。
1. Introduction
目標檢測和跟蹤的魯棒性對於許多計算機視覺任務都非常重要。我們討論的方法是：將每幀圖像的目標檢測結果作為輸入，然后將檢測結果關聯起來以尋找目標軌跡。並不是所有目標都能在每一幀中被檢測到，並且可能存在錯誤檢測，還有一些目標可能被其他目標遮擋；這些因素使得數據關聯成為一項困難的任務。
一些方法，如[1,2]，試圖解決每一幀中的歧義。其他的，例如[3,4,5,6,7,8,9,10]則使用更多的全局信息。然而，這些備選方案的搜索空間隨着幀數的增加呈指數級增長，這就需要嚴格限制搜索窗口以及進行假設剪枝。它們通常還假設所有的檢測結果都是正確的，但實際上並不能保證總是正確。
我們提出了一種有效的全局數據關聯方法，相比以前的方法，它可以為長的多的序列(窗口)找到最優解。在我們的方法中，數據關聯被定義為給定一組目標檢測結果作為輸入觀測值的MAP估計問題。將非重疊軌跡假設建模為成本流網絡中的不相交流路徑（disjoint flow path）；觀測似然和轉換概率（observation likelihood and transition probabilities）被建模為流成本。采用最小成本流算法可得到全局最優軌跡關聯。為處理長時間遮擋情形下的跟蹤，通過向網絡中添加遮擋節點和約束(只考慮目標之間的遮擋inter-object occlusions)，建立顯式遮擋模型(EOM)。在原最小成本流算法的基礎上，采用迭代法求解基於EOM的網絡的最小成本流（a minimal cost flow）。軌跡初始化、終止和目標遮擋推斷是該方法的內在行為，因此可以從關聯結果中推斷出來這些信息。從跟蹤結果推斷遮擋和漏檢的一個例子如圖1所示。
本文的其余部分組織如下。相關工作將在第2節中討論。第3節描述了MAP formulation和及其全局最優解。第4節介紹了顯式遮擋模型（EOM）及其迭代求解方法。第5節中給出實現細節。實驗結果見第6節。結論見第7節。
2. Related work
要跟蹤多個目標，一種方法是逐幀(或在一個小的時間窗口內)做出數據關聯決策，如[1,2]。雖然這種方法已經顯示出不錯的性能，但是在做出關聯決策之前考慮更多的幀通常來說應該有助於更好地克服長時間遮擋和誤檢或漏檢造成的歧義。
許多使用更多信息的全局方法已被嘗試用來克服檢測錯誤的影響。一種策略是通過整個序列一次優化一個軌跡；這在基於動態規划的方法中已被采用，如[5,6]。然后使用貪婪策略來組合這些軌跡並處理潛在的沖突。由於軌跡是單個分別優化的，這些方法很難對遮擋進行建模。另一種方法是同時優化多個軌跡；多假設跟蹤(MHT：multi-Hypothesis Tracking)[3]和聯合概率數據關聯濾波器(JPDAF：Joint Probabilistic Data Association Filters)[4]是兩個具有代表性的例子。此外，在[10]中，檢測和軌跡假設的估計與二次布爾規划結合在一起。由於假設搜索空間是組合的（combinatorial），這類方法只能在有限的時間窗口內進行優化，還必須對假設進行剪枝。采樣方法例如MCMC[9]同樣被用來求解類似問題。在這些方法中，遮擋通常被建模為軌跡的合並和拆分（merging and splitting of trajectories）。
Tracklet Stitching[8]和基於線性規划(LP)的跟蹤[7]是尋求在整個序列上同時優化所有軌跡的另外兩種方法。[8]首先生成tracklets，它是由檢測響應（detection responses）經保守分組形成的軌跡片段（fragments of tracks）。然后使用匈牙利划分算法連接tracklets。這種方法假設所有tracklets都對應於真實的目標軌跡，因此很難適用到原始檢測結果，即每一幀中可能出現許多假警（false alarms）。[7]為每個對象軌跡構建一個子圖集合，這些子圖之間的邊（edges）表示對象交互（object interactions）。然后通過線性規划和舍入近似地求解子圖集上的多路徑搜索問題。它需要假設目標間位置（inter-object positions）相對穩定、目標個數固定。
3. Our approach
我們定義數據關聯為MAP問題。然后將MAP問題映射到成本流網絡（a cost-flow network），並用最小成本流算法（a min-cost flow algorithm）求解。這樣映射是基於尋找非重疊目標軌跡與在圖中尋找邊不相交路徑（edge-disjoint paths）之間存在相似性；后者可以通過網絡流算法得到有效的求解。我們首先提出構想，然后提供最小成本流求解方法。
3.1 非重疊約束下的MAP
3.2 最小成本流求解方法
圖2 成本流網絡的一個例子，包含3個時間步長和9個觀測
• Construct the graph G(V, E, C, f) from observation set X
• Start with empty flow
• WHILE ( f(G) can be augmented )
– Augment f(G) by one.
– Find the min cost flow by the algorithm of [12].
– IF ( current min cost < global optimal cost )
Store current min-cost assignment as global optimum.
• Return the global optimal flow as the best association hypothesis
Algorithm 1:Find MAP trajectories by min-cost flow
算法1為數據關聯提供了一個通用框架。該方法不同於單獨優化各軌跡的方法，也不受困於假設空間組合激增的方法，它能夠有效率地找到全局最優解。接下來，我們擴展我們的方法來處理長時間遮擋的跟蹤。
4.Explicit Occlusion Model（EOM）
添加occlusion hypotheses
添加occlusion constraint
求解
通常，算法在迭代兩輪之后就可以得到最優解。