轉載請標明鏈接：http://www.cnblogs.com/yanwei-li/p/8670658.html
MOT16是多目標跟蹤領域非常有名的評測數據集，Ref 1詳細闡述了這個數據集的組成以及評測標准（及其評測代碼），Ref 2詳細地解釋了許多標准的由來和考慮，本部分主要介紹MOT任務中常用的評測標准。
Reference:
- "MOT16: A Benchmark for Multi-Object Tracking" (http://arxiv.org/pdf/1603.00831.pdf)
- "Evaluating Multiple Object Tracking Performance: The CLEAR MOT Metrics" (https://link.springer.com/content/pdf/10.1155%2F2008%2F246309.pdf)
MOT16評測代碼：http://motchallenge.net/devkit
1. MOTA ( Multiple Object Tracking Accuracy)
其中，FN為False Negative，FP為False Positive，IDSW為ID Switch，GT為Ground Truth 物體的數量。MOTA考慮了tracking中所有幀中對象匹配錯誤，主要是FN，FP，ID Switch。MOTA給出了一個非常直觀的衡量跟蹤器在檢測物體和保持軌跡時的性能，與物體位置的估計精度無關。MOTA取值應小於100，當跟蹤器產生的錯誤超過了場景中的物體，MOTA會為負數。需要注意的是，此處的MOTA以及MOTP是計算所有幀的相關指標再進行平均（既加權平均值），而不是計算每幀的rate然后進行rate的平均。
2. MOTP (Multiple Object Tracking Precision)
其中，d為檢測目標i和給它分配的ground truth之間在所有幀中的平均度量距離，在這里是使用bonding box的overlap rate來進行度量（在這里MOTP是越大越好，但對於使用歐氏距離進行度量的就是MOTP越小越好，這主要取決於度量距離d的定義方式）；而c為在當前幀匹配成功的數目。MOTP主要量化檢測器的定位精度，幾乎不包含與跟蹤器實際性能相關的信息。
3. MT (Mostly Tracked)
滿足Ground Truth至少在80%的時間內都匹配成功的track，在所有追蹤目標中所占的比例。注意這里的MT和ML與當前track的ID是否發生變化無關，只要ground truth與目標匹配上即可。
4. ML (Mostly Lost)
滿足Ground Truth在小於20%的時間內匹配成功的track，在所有追蹤目標中所占的比例。
5. ID Switch
Ground Truth所分配的ID發生變化的次數，如圖1中(a)所示。
6. FM (Fragmentation)
FM計算的是跟蹤有多少次被打斷（既Ground Truth的track沒有被匹配上），換句話說每當軌跡將其狀態從跟蹤狀態改變為未跟蹤狀態，並且在稍后的時間點跟蹤相同的軌跡時，就會對FM進行計數。此處需要注意的是，FM計數時要求ground truth的狀態需要滿足：tracked->untracked->tracked，如圖1中(b)所示，而(c)中的不算FM。需要注意的是，FM與ID是否發生變化無關。
7. FP (False Positive)
當前幀預測的track和detection沒有匹配上，將錯誤預測的track點稱為FP，如圖1所示。是否匹配成功與匹配時所設置的閾值有關。
8. FN (False Negative)
當前幀預測的track和detection沒有匹配上，將未被匹配的ground truth點稱為FN（也可以稱為Miss），如圖1所示。
圖1 Tracker-to-target匹配示意圖