官網: https://www.aicitychallenge.org/
基於來自交通，信號系統，基礎設施和運輸的傳感器數據，存在使運輸系統更智能的巨大機會.不幸的是，由於幾個原因，進展受到限制:\,其中，數據質量差，缺少數據標簽，缺乏可以將數據轉化為可操作的視角的高質量模型，還需要能夠處理從邊緣到雲的分析的平台，這將加速這些模型的開發和部署
我們正在2019年CVPR組織AI城市挑戰研討會，通過鼓勵研究和開發技術來幫助應對這些挑戰 。這種方法較少依賴於監督方法，而更多地依賴於轉移學習，無監督和半監督方法，超越了邊界框方式。它將側重於智能交通系統（ITS）等問題.
賽題（track1）解讀：
README.md
數據簡介：
2019的基准是來自40個現實生活中的監控相機。在現實生活中，總共666個交通車輛被標注於５個場景中。其中，３個場景用於訓練，２個場景用於測試。
總共有195.03 分鍾的視頻。訓練視頻的分鍾數是58.43分鍾，測試視頻是136.60分鍾。
文件夾中的內容：
1. “train/*" 包含所有訓練子集數據
2. ”test/*" 包含所有測試子集數據
3. “train(test)/<subset>/<cam>/'vdo.avi" 測試視頻
4. ”train(test)/<subset> /<cam>/roi.jpg". 為感興趣區域，其中白色區域覆蓋整個目標的對象主體。
5. "trian/<subset>/<cam>/gt/gt.txt". MTMC賽題的真值數據，在MOTChallenge 格式[frame, ID, left, top, width, height, 1, -1, -1, -1] 僅考慮通過至少2個攝像機的車輛
6. "train(test)/<subset>/<cam>/det/det_*.txt". 是基於不同MOTChallenge格式的baselines。每個baseline涉及的方法如下所示：
[YOLOv3] Redmon, Joseph and Farhadi, Ali, "YOLOv3: An Incremental Improvement," arXiv, 2018.
[SSD] Liu, Wei and Anguelov, Dragomir and Erhan, Dumitru and Szegedy, Christian and Reed, Scott and Fu, Cheng-Yang and Berg, Alexander C., "SSD: Single Shot MultiBox Detector," ECCV, 2016.
[Mask/Faster R-CNN] He, Kaiming and Gkioxari, Georgia and Dollár, Piotr and Girshick, Ross, "Mask R-CNN," ICCV, 2017.
７. "train(test)/<subset>/<cam>/mtsc/mtsc_*.txt" 是MTSC根據MOTChallenge格式的不同baseline進行跟蹤的結果，每個baseline涉及的方法如下所示：
[Deep SORT] Wojke, Nicolai and Bewley, Alex and Paulus, Dietrich, "Simple Online and Realtime Tracking with a Deep Association Metric," ICIP, 2017.
[Tracklet Clustering] Tang, Zheng and Wang, Gaoang and Xiao, Hao and Zheng, Aotian and Hwang, Jenq-Neng, "Single-camera and Inter-camera Vehicle Tracking and 3D Speed Estimation Based on Fusion of Visual and Semantic Features," CVPRW, 2018.
[MOANA] Tang, Zheng and Hwang, Jenq-Neng, "MOANA: An Online Learned Adaptive Appearance Model for Robust Multiple Object Tracking in 3D," arXiv, 2019.
8. "train(test)/<subset>/<cam>/segm/segm_mask_rcnn.txt" 這是基於mask r-cnn分割的結果(每一行對應檢測結果)
9. "train(test)/<subset>/<cam>/calibration.txt".它們是手動校准結果。 第一行給出從GPS坐標投射到2D圖像像素位置的3×3單應矩陣。 對於魚眼攝像機，第二行給出失真系數。
10. "list_cam.txt". It lists the subfolder of each video for training/testing. 列出了用於訓練和測試的視頻
11. "cam_loc/<subset>.png". 對應了相機位置的預覽圖。對於每個相機，我們不需要去獲取精確的gps位置，但是每個場景近似中心的位置提供了：
The GPS location for S01.png is 42.525678, -90.723601.
The GPS location for S02.png is 42.491916, -90.723723.
The GPS location for S0345.png is 42.498780, -90.686393.
12. "cam_timestamp/<subset>.txt". 列出了５個場景中每個場景的視頻(起始)時間戳。注意：由於視頻傳輸過程中的噪聲問題，（這在現實的分布式場景中），在視頻中將存在丟幀現象，
因此他們並不是嚴格對齊。所有的幀率是10FPS,除了c015在S03場景下的幀率是８FPS.
13. cam_framenum/<subset>.txt". 列除了５個場景中，每個場景是視頻幀數。
14. "amilan-motchallenge-devkit/".這是一個額外的MOTChallenge的Matlab評估代碼(https://bitbucket.org/amilan/motchallenge-devkit/) 當執行demo_evalAIC19.m 代碼時，一個對於訓練集合的評估將會自動處理。
15. "DataLicenseAgreement_AICityChallenge.pdf". 數據使用許可協議
If you have any question, please contact aicitychallenge2019@gmail.com.
數據和評估方法
重要的提醒:評估系統現已開放。有關說明，請參閱“挑戰” - >“評估系統”或單擊此處 (https://www.aicitychallenge.org/2019-evaluation-system/)
數據集
我們很高興地分享我們有一個獨特的數據集。針對今年的挑戰，該數據集合擁有全新的車輛並對車牌做了處理。數據來自美國某個城市的多個交通攝像頭，以及愛荷華州的高速公路。
特別的，我們擁有跨城市的主要幾個干路的跨城市且時間同步的攝像頭。這些攝像頭也是主要用於交通運輸的目的。
１、城市交叉口和公路數據 - 從各個城市交叉口和高速公路的多個有利位置同步捕獲近3小時的同步視頻。視頻為960p或更高，大多數視頻以每秒10幀的速度捕獲。
２、愛荷華州立大學數據 - 在愛荷華州的高速公路上捕獲超過25小時的視頻數據
３、有關收集的視頻的元數據，包括攝像機的GPS位置，攝像機校准信息和視頻中的其他派生數據
Download Links
見官網
評估和提交
１、對於三個挑戰任務中的每一個，將提供不同的數據集作為一組視頻或圖像。
2、通過按字母數字順序對賽道視頻（或存儲它們的文件夾的名稱）進行排序，獲得每個賽道的關聯數字視頻ID，編號從1開始
３、對於所有3個比賽，所有像素坐標都是0
幀提取
某些賽道的提交將會要求包含 幀間的ID,也就是包含感興趣的信息。為了確保各個團隊的框架ID一致，我們建議所有團隊使用FFmpeg庫（https://www.ffmpeg.org/）來提取/計算幀。
Submission Policy （提交政策，這里只介紹track1）
Track 1: City-Scale Multi-Camera Vehicle Tracking
該數據集包含從40個攝像機收集的3.25小時（195.03分鍾）視頻，這些攝像機跨越美國中等城市的10個交叉路口.兩個最遠的同時攝像機之間的距離是2.5公里.
該數據集涵蓋了多種不同的位置類型，包括交叉路口，道路延伸段和高速公路。數據集分為5個場景.只有3個場景用於訓練，其余2個場景用於測試。訓練視頻的長度為
58.43分鍾，而測試視頻的長度為136.60分鍾。總的來說，數據集包含229,680個邊界框在666個不同標書視頻的車輛身份信息。只有通過至少2個攝像頭的車輛才有標注。
每個視頻的分辨率至少為960p，大多數視頻的幀速率為10 FPS。此外，在每種情況下，每個視頻的起始時間偏移都可用，可用於同步。有關更多詳細信息，請參閱
ReadMe.txt文件。
- Task
團隊應該檢測並跟蹤多個攝像機的目標。提供了baseline檢測和單攝像機跟蹤結果，但團隊也可以使用自己的方法.
- Submission Format
應提交一個文本文件，其中包含每行，檢測和跟蹤車輛的詳細信息，格式如下:
<camera_id> <obj_id> <frame_id> <xmin> <ymin> <width> <height> <xworld> <yworld>
<camera_id> :是相機數字標識符，介於1和40之間
<obj_id> :是每個對象的數字標識符,它應該是一個正整數，並且對於多個攝像機中的每個對象標識是一致的
<frame_id> :表示當前視頻中當前幀的幀數，從1開始
<xmin> <ymin> <width> <height> :
檢測到的對象的軸對齊矩形邊界框由圖像畫布中的像素值坐標表示，<xmin> <ymin> <width> <height>，從圖像的左上角計算。所有值都是整數
<xworld> ,<yworld> :是每個物體的投影底點的GPS坐標。它們目前尚未用於評估，但可能在將來使用。因此，如果可能的話包括它們將是有益的。
包含所有預測的文本文件應命名為track1.txt，並且可以使用Zip（track1.zip）或tar + gz（track1.tar.gz）進行存檔，以減少上傳時間
- Evaluation
對於MTMC跟蹤，IDF1得分[1]將用於對每個團隊的表現進行排名。IDF1測量正確識別的檢測與平均真實數和計算檢測數之比。
我們的數據集提供的評估工具還計算了MOTChallenge采用的評估措施[2]，[3]，如多目標跟蹤精度（MOTA），多目標跟蹤精度（MOTP），
主要是跟蹤目標（MT）和誤報率（FAR）。但是，它們不會用於排名目的。將在評估系統中顯示的措施是IDF1，IDP，IDR，精確度（檢測）
和召回（檢測）。
對於問答
一般問答
１ 我們想參加。我們需要做什么？
請填寫此參與意向表以列出您的機構，您的團隊以及您將參與的賽道。您只需按照說明操作並提交表格即可。
2.我只對提交論文感興趣，但不參與挑戰。我能這樣做嗎？
是。請務必在截止日期前提交論文。
3.團隊有多大？
團隊規模沒有限制。
4.下載數據集的規則是什么？
在共享數據之前可以獲得參與協議。您需要接受該協議並在訪問數據集之前提交該響應
5.我是否可以使用任何可用的數據集來訓練模型以檢測本次挑戰中的車輛？
是。在用於執行任務的模型和方法方面沒有約束。您可以自由使用您認為最好的方法。
6.獎品是什么？
此信息在獎勵部分中共享：https://www.aicitychallenge.org/2019-challenge-awards/
7.我們需要提交代碼嗎？
獲獎團隊需要提交他們的代碼以進行驗證，以便組織者可以確保任務是由算法而不是人類執行的。
8.如何評估提交的內容？
每個賽道的提交格式在“數據和評估”頁面上詳細說明。：https://www.aicitychallenge.org/2019-data-sets/
9.提交最終評估結果的截止日期是什么時候？
評估結果將於5月10日太平洋時間上午9點公布。請參閱更新的時間表。提交系統將在幾天后再次打開，並允許團隊提交其他結果，但在挑選獲勝團隊時不會考慮這些結果。：https://www.aicitychallenge.org/2019-important-dates/
10.提交的研究/挑戰文件需要多長時間？
研究和挑戰文件的長度應為6-8頁，並遵循CVPR格式。：http://cvpr2019.thecvf.com/submission/main_conference/author_guidelines#call_for_papers
11. CVPRW文件提交審查的截止日期是什么時候？我們只在網頁上看到提交相機的論文提交截止日期。但是，提交審查文件沒有截止日期。
論文截止日期是5月16日，應該盡可能接近相機准備審查，因為它將在很短的時間內進行審查。
12.我們是否允許在此挑戰中使用我們自己的注釋數據或來自其他數據集的訓練數據？
是。我們鼓勵團隊利用最先進的域名轉移來提高他們的表現。但請注意，獲獎團隊和亞軍將被要求將他們的訓練代碼和推理代碼開源，以便進行驗證，就像之前所有的AI City挑戰一樣。他們還需要明確說明他們訓練集的構成。
組委會需要確保對該挑戰的測試數據沒有手動注釋，並且所有實驗結果都可以以自動方式再現。
13.我們是否允許標記（部分）轉移學習的測試數據？或者我們可以將測試集視為半監督學習的未標記數據嗎？
嚴格禁止對我們的測試數據進行額外注釋。我們也不鼓勵在訓練期間以任何方式使用測試數據，有或沒有標簽，因為任務應該在現實生活中得到公平評估，我們根本無法訪問測試數據。最后，請記住，與之前的所有AI City挑戰一樣，
所有獲勝方法和亞軍將被要求使其代碼開源以進行驗證。其中需要明確說明使用過的培訓數據，以確認其性能是可重復的。這就是為什么獲勝者的確定日期晚於挑戰提交截止日期。
Track 1
1.在某些情況下，即使添加時間偏移，也會觀察到一些同步錯位。為什么會這樣？
請注意，由於視頻傳輸中的噪聲（在實際部署的系統中很常見），某些視頻中會跳過某些幀，因此它們並不完全對齊。
2.Mask R-CNN的基線分割結果的格式是什么？它們如何被解碼。
分割結果的每一行對應於“train（test）/// det / det_mask_rcnn.txt”中的檢測輸出。
為了生成分割結果，我們在Detectron中采用了Mask R-CNN：https：//github.com/facebookresearch/Detectron
每個分段掩碼是在detectron / utils / vis.py中處理vis_utils.convert_from_cls_format（）之后的表示。它可以使用vis_utils中的其他函數進行可視化/顯示。
3.我們如何使用'calibration.txt'文件？它是從GPS到2D圖像像素位置的矩陣，在amilan-motchallenge-devkit / utils / camera中有一些關於圖像到世界投影的工具，但我們如何才能正確使用代碼呢？
a 、你們中的許多人對我們為第1軌提供的校准基線的低投影精度表示擔憂。這主要是由於校准參數的精度低（小數點后最多7位）。我們更新了校准工具，以實現最大可能的輸出精度（小數點后最多15位）。更新的校准結果，配置參數和可視化均可在此處獲得。 ReadMe.txt中描述了詳細信息。(https://drive.google.com/open?id=1aV2o0uGh3714XYAWc2sVXc2dnv90yC2i)
b、我們用於校准的工具也可在此公開獲得(https://github.com/zhengthomastang/Cal_PnP),我們主要依靠OpenCV庫進行單應操作。對於從GPS到2D像素位置的投影，您可以簡單地將矩陣乘法應用於我們提供的單應矩陣。
對於從2D像素位置到GPS的反投影，首先計算單應矩陣的逆（在OpenCV中使用invert（）），然后應用矩陣乘法。“amilan-motchallenge-devkit / utils / camera”中的圖像到世界投影方法也可以以類似的方式提供幫助。
c、您也可以隨意使用您選擇的任何其他校准技術來生成您自己的校准結果。在更新的校准結果中，為魚眼攝像機提供了固有參數矩陣和失真系數（一個在訓練集中，另一個在測試集中）。
請注意，雖然GPS位置表示為角度值而不是平面上的坐標，由於兩個攝像機之間的最長距離與地球周長（40,075 km）相比非常小（3 km），因此它們仍然可以安全地視為線性坐標系。
4.如果沒有固有的攝像機參數，我們如何校正魚眼攝像機的徑向畸變？
有許多簡單的方法來近似內在的相機參數。例如，可以選擇焦距作為像素中的幀寬度。可以假設主點位於幀中心。寬高比和歪斜可以分別設置為1和0。對於徑向失真校正，您可以從OpenCV庫中應用cv :: undistort（），使用近似的內部相機矩陣並提供失真系數。
最后但並非最不重要的是，請記住，攝像機參數不隨視頻提供，因此所有給定的單應矩陣和失真系數都是手動導出的。如有必要，請隨意使用您自己選擇的方法來改進相機校准。
5.我們是否需要考慮汽車在多種情況下出現的情況？
在賽道1中，不需要考慮跨場景出現的車輛，因此所提供的攝像機幾何結構可用於跨攝像機跟蹤。但是在Track 2中，攝像機中的所有ID都在訓練集和測試集中混合，這是一個不同的問題需要解決。
6.汽車ID如何用於評估？在訓練數據中有大約200個ID。但是當處理測試集時，跟蹤器可能會生成任意車輛ID。他們需要與基本事實保持一致嗎？評估是基於軌道的IOU嗎？
我們使用與MOTChallenge相同的指標進行評估。有關詳細信息，請參閱包中的評估工具。提交結果中的ID不需要與 ground truths 中的確切ID相匹配。我們將使用二分匹配進行比較，這將基於邊界框的IOU。
7.我們觀察到一些案例，即基本事實和帶注釋的邊界框不准確。標簽的標准是什么？
在下列情況下，車輛未貼上標簽：
（1）他們沒有穿過多個攝像頭;
（2）它們與其他車輛重疊並被NMS拆除（只有前面的車輛注明）;
（3）它們在FOV中太小（邊界框區域小於1,000像素）;
（4）它們在框架的邊緣被裁剪，車身可見不到2/3。另外，邊界框通常注釋較大的法線以確保每個整個車輛的完全覆蓋，從而可以可靠地提取諸如車輛顏色，類型和姿勢的屬性以改善重新識別。
更具體地說，每個邊界框的寬度和高度都從中心延伸了大約20個像素。
關於寫 cvpr 2019 workshop 論文(accepted)一些工具和注意:
1、搜論文使用: http://www.arxiv-sanity.com/ related相關和借鑒相關工作,非常好用
2、寫論文,大家協作非常好用的協作工具:https://www.overleaf.com/
3、論文主要框架(pipeline)一定要直觀,清晰,簡潔,一目了然.
4、圖多,表多,對比實驗明顯,重要部分可加粗,調色.
具體代碼和方案論文.代碼都是開源的
AI City Challenge 2019 Track1
Team 49 (DDashcam)
github：https://github.com/didichuxing/mtmc-vt