轉載請標明鏈接：http://www.cnblogs.com/yanwei-li/p/8643336.html
網上已有很多關於MOT的文章，此系列僅為個人閱讀隨筆，便於初學者的共同成長。若希望詳細了解，建議閱讀原文。
本文是使用 tracking by detection 方法進行多目標跟蹤的文章，是后續deep sort的基礎(Deep SORT見后一篇隨筆)。
論文地址：http://arxiv.org/pdf/1602.00763.pdf
代碼地址：https://github.com/abewley/sort
文章概述
本方法最大的特點是高效地實現了基於Faster-RCNN的detection並使用Kalman濾波以及 Hungarian算法進行跟蹤。提高了speed同時達到了comparable state-of-the-art的accuracy。
文章觀點
- 以Re-id的形式整合復雜性會增加跟蹤框架的巨大開銷，會限制其在實時程序中的使用；
- 以往方法使用delay making difficult decisions的方法來處理不確定性較高的匹配，這使得組合復雜度很大，難以進行實時識別；
- 以往進行兩部工作來用相鄰圖片的幾何和外觀關聯軌跡的方法需要使用batch，難以進行on-line tracking。
文章方法
將tracking對象狀態傳播到未來的幀中(主要使用卡爾曼濾波以及線性速度的假設)，將當前的檢測與現有的對象相關聯，並管理被跟蹤對象的age。
1. 目標檢測
使用Faster-RCNN進行detection,文章通過對比來說明detection的質量對后續的tracking至關重要。
2. 估計模型
- 當檢測與目標相關聯時，檢測到的邊界框用於更新目標狀態，其中速度分量通過卡爾曼濾波框架最優地求解；
- 如果target沒有跟detection相連，就用線性速度模型對taeget進行預測；（這種預測錯誤率較高）
3. 數據組合
- 在將detection分配給現有track時，通過預測其在當前幀中的新位置來估計每個目標
- 使用每個detection和所有預測的bonding box的IOU距離來計算assignment cost matrix；
- 小於IOU閾值的assignment 會被拒絕，源碼中閾值設置為0.3；
- 文章指出使用IOU distance 可以解決 tracking 中的短暫遮擋問題，這是由於IOU distance更傾向於檢測相似尺寸（個人理解是因為IOU distance的計算使用了detection 和 prediction 的共同區域，而如果相鄰幀產生輕微遮擋，共同區域的變化不大，從而保證了短暫遮擋的有效track，當然如果完全遮擋那么assignment肯定會出錯），但是如果遮擋時間較長會重新分配track，造成出錯。（較長時間的遮擋問題在后續的deep sort論文中使用appearance特征進行緩解）。
4. Track的建立和刪除
- 如果detection和target的重疊率小於IOU閾值，認為此track應當刪除；（個人認為這種完全基於幾何預測bonding box 的位置來判斷會造成比較大的錯誤率以及 ID switch，當然后續的deep sort 也對這方面進行了改進。）
- 如果在Tlost 幀內沒有對應的 detection 與 track 匹配，就將此track刪除。文中Tlost 設為1，文中指出是因為沒有匹配所使用的固定速度模型效果很差並且幀數過多的re-id問題超出了本文討論的范圍。（個人認為主要還是固定速度的預測模型的問題）。
文章結果
文章結果還是挺不錯的，MOTA也接近state-of-the-art，速度方面在 i7 2.5GHz的機器上可以達到260Hz的速度，能夠滿足實時性的要求。但是由於預測模型和IOU distance的限制導致 ID switch相對於其他方法高了許多。
