多目標跟蹤的評價指標

metric

CLEAR MOT Metrics

MOTP & MOTA

讀“Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics”筆記。

---

對於多目標追蹤問題，我們認為一個理想的評價指標應該滿足下述三點要求：

1. 所有出現的目標都要能夠及時找到

2. 找到目標位置要盡可能可真實目標位置一致

3. 保持追蹤一致性，避免跟蹤目標的跳變 each object should be assigned a unique track ID which stays constant throughout the sequence.

這三點要求給了設計MOT評價metric的啟發：

1. metrics應該能夠評價tracker輸出結果和真實結果location上的誤差精度

2. metrics應該要能夠反映出tracker長時間持續追蹤目標結構的能力，即追蹤到正確的目標軌跡的能力

另外，關於metric的一般要求：

1. metric參數(包括可調節的閾值等)要盡可能的少，才能使評估過程簡單直接，實驗結果可對比性較強

2. metric要盡可能的直觀，易理解，特別是要容易區分不同類型的誤差

3. metric應具有較強的適應性，對於MOT的評價指標而言要能夠適應2D和3D的不同情況

4. metric的個數要盡可能的少，盡量少的指標卻具有很高的表達能力

論文根據上述的criteria提出了一種MOT問題系統、客觀的評價過程。
假設對於每一幀的圖像中有目標,tracker在該幀輸出的假設為，那么評價過程包含以下步驟：

1. 建立目標和假設間的最優一一對應關系，稱之為correspondence

2. 對所有的correspondence，計算位置偏移誤差(the error in the object's position estimation)

3. 累積結構誤差(object configuration error)
   a. 計算漏檢數，objects for which no hypothesis was output
   b. 計算虛警數，hypothesis for which no real objects exists
   c. 跟蹤目標發生跳變的次數，the number of occurrences where the tracking hypothesis for an object changed compared to previous frames

接下來仔細分析該過程的具體實現：

• 如何確定一一對應關系(valid correspondences)
  最朴素的想法就是在目標和假設間，采取最近鄰的方法，將相互距離最小的假設匹配給對應的目標。但是這存在一個問題，對於人而言，存不存在對應關系是有一個距離限制的，如果假設和目標的距離滿足但是,是某個距離閾值，那我們也應該視假設和目標不存在對應關系，這時候目標應該是一個漏檢目標。
  如下圖

valid correspondence.jpg

其中 時刻都是有效的對應，而 時刻顯然並不認為是有效匹配。
在實際應用中，距離可以采用歐氏距離計算，而閾值T可以設置為假設和目標最少重疊(overlap)時兩者中心的距離。

• 如何刻畫追蹤一致性
  追蹤一致性能力就是指追蹤器使追蹤假設和對應目標長時間保持對應關系不變的能力。

一種方式是首先尋找目標和假設間的一個最優對應,或者是出現頻率最大的對應，然后將其余出現的所有和這個對應不同的對應視為錯誤匹配，如下圖，我們將出現頻率最大的對應視為正確的對應關系，然后case1下出現2次錯誤對應，case2條件下出現4次錯誤對應。

match errors.jpg

然后這種方式有時候並不符合常理，我們關注的應該是對應發生轉變的那一幀，而不是由對應跳變幀帶來的其余幀對應的變化。所以論文中給的方法是僅僅統計對應出現跳變的次數。這樣的話，上圖中case1和case2均僅出現一次跳變。假設直到時刻 的目標-假設對應關系表示為 ，若在 時刻出現假設 使得 不再 中，則可以計做一次錯誤，在 時刻的目標-假設映射表 中將 取代 。這里說直至 時刻的目標-假設映射表而不是 時刻的映射表是因為有時correspondence出現丟失時，之前的對應關系應該得到保留。
為了降低錯誤率，減少對應發生跳變的次數，可以在同一目標存在多個valid correspondence時，選擇已經存在的correspondence，如下圖，在直至 時刻的目標-假設mapping中存在 ,在 時刻出現兩個有效的correspondence， ，而且這時候的距離 ,但這時候我們選擇 .

correct reinitialization.jpg

• 具體過程

  1. 對幀，考慮映射中的每一個對應,驗證其是否依然有效

  2. 對於那些上一步沒有找到對應假設的目標，在新的假設集中尋找最佳匹配，這個時候所謂的最佳匹配時讓總的目標-假設距離最小，比如兩個待匹配的目標,都是其有效對應，如何匹配兩個對映集就要求總體的距離和最小，這時候可以使用Munkres' algorithm^[1],這個過程就可以統計匹配發生跳變的次數：如果出現新的不在中，那么在中將新的取代以前的對應，使用記錄時刻出現這種跳變的次數。

  3. 經過之前兩步，可以找到所有的correspondence，所有的correspondence個數記為,計算每一個correspondence計算目標和假設建的距離。

  4. 剩下的未找到correspondence的目標和假設個數分別記為和。並使用表示時刻真正目標的個數。

  5. 從第一幀開始逐幀計算上述變量。對於第1幀初始的而言，是空的，也就意味着第1幀找到的所有匹配都是正確的，沒有發生conflict。
     最終的兩個統計量為：

• MOPT The multiple object tracking precision 也就是假設與對應目標的平均偏差

• MPTA The multiple object tracking accuracy

其中
a. 計算的是tracking過程總體的漏檢率
b. 計算的是tracking過程總體的誤檢，也就是虛警率。
c. 表示tracking中所有目標發生跳變的機率。

顯然，MOTP和MOTA兩個指標同時很高，那么tracker的性能就越好

Note：這里在計算MOTP和MOTA時，都是計算的整個tracking過程的平均值，而不是每一幀的結果，這是因為單幀計算這些變量然后再計算平均往往會導致和直觀上不同的結果。比如下圖

computing error ratios.jpg

這是一個8幀的數據，前4幀中四個目標都被漏檢，從第5幀開始只有 visible,且開始被檢測到。這樣如果逐幀計算漏檢率，在前四幀如果計算漏檢率就都是100%，那么總體漏檢率為 ,而如果統計所有的錯誤次數然后計算平均，即按照上面過程中計算方法，漏檢率為 。

之后論文在CLEARs workshops上使用提出的兩個metric評價了不同的track system，發現the proposed metrics indeed reflect the strengths and weaknesses of the various used systems in an intuitive and meaningful way, allow for easy comparsion of overall performance, and are applicable to a variety of scenarios.

---

1. J.Munkres, Algorithms for the assignment and transportation problems, Journal of Society of Industrial and Applied Mathematics, vol.5 no.1, pp.32-38,1957 ↩