轉自https://zhuanlan.zhihu.com/p/45331609
無人駕駛技術涵蓋了感知、決策、控制等領域的方方面面。感知層面對目標識別跟蹤、障礙物檢測、精確定位等技術的需求，使得深度學習等人工智能技術得到廣泛應用。深度學習模型非常依賴無人車行駛環境的數據，而這些數據在工程中非常難獲得。無人駕駛數據的獲取，需要一定的財力、物力、人力的支持，而一般的個人、小團隊通常沒法應對。幸運的是，這個世界上有一部分團隊將其在無人駕駛研發過程中收集到的數據公開出來，供無人駕駛技術研究者免費使用，這些數據在一定程度上大大推進了無人駕駛技術的研發進程。為免於贅述，我們直接羅列出目前世界上無人駕駛研發過程中可用的公開數據集：
截止到2017年，已公開的數據集如下（參考文獻Hang Yin, Christian Berger. When to use what data set for your self-driving car algorithm: An overview of publicly available driving datasets）：
1） Automotive multi-sensor dataset (AMUSE): 瑞典Linkoping大學提供，使用全景攝像頭手機車輛四周的信息，數據中包括冬天下雪場景。
2） Caltech Pedestrian Detection Benchmark (Caltech): 加州理工學院提供，包含大量的行人及行人標注信息。
3） Cambridge-driving Labeled Video Database (CamVid): 英國劍橋大學提供
4） CCSAD數據集：墨西哥數學研究中心提供，包含發展中國家的雙目視覺視頻數據。
5） Cheddar Gorge Dataset: 英國BAE提供，包含單目、雙目、紅外攝像頭，使用Velodyne 64線LiDAR，GPS/IMU數據等，數據豐富
6） Cityscapes dataset：包含戴姆勒在內的三家德國單位聯合提供，包含50多個城市的立體視覺數據；像素級標注；提供算法評估接口；
7） CMU Visual Localization Dataset (CMU): 卡耐基梅隆大學提供，包含各種天氣、光照條件下的數據
8） Comma.ai driving dataset (comma.ai): comma.ai提供，包含高速公路交通數據
9） Daimler Pedestrian Benchmarks (Daimler pedestrian): 戴姆勒以及阿姆斯特丹大學聯合提供，包含行人檢測、目標分類、場景分割、基於單目和雙目圖像的路徑預測等，還包含自行車數據集
10） Daimler Urban segmentation (Daimler urban): 德國6D-Vision提供，包含城市交通的雙目視頻序列，像素級標注
11） DIPLECS Autonomous Driving Datasets (DIPLECS): 悉尼大學提供
12） Dr(eye)ve: 意大利ImageLab提供，可用於研究司機意圖、行人意圖等，屬首次
13） EISATS：包含戴姆勒在內的多家單位聯合提供，包含雙目視頻信息
14） Elektra：西班牙兩所大學聯合提供
15） ETH pedestrian dataset： 蘇黎世理工學院ETH提供，交通擁堵市中心的雙目圖像信息，包含很多行人
16） Ford Campus Vision and Lidar Data Set (Ford): 密歇根大學提供，使用了高精度定位設備、多個LiDAR、全景攝像頭等，包含軟件開發包
17） German Traffic Sign Detection Benchmark (German traffic sign): 德國魯爾大學提供，為大量含有交通信號燈的靜態圖像
18） Heidelberg benchmarks (Heidelberg): 德國海德堡大學提供
19） Joint Attention for Autonomous Driving Dataset (JAAD): 加拿大約克大學提供
20） Karlsruhe Dataset: Labeled Objects: MPI-IS（我也不知道這是哪家單位，有會翻譯的請留言）提供，包含車輛和行人的標注信息，甚至包含目標的姿態信息。
21） Karlsruhe Dataset: Stereo Video Sequences + rough GPS Poses (Karlsruhe stereo): MPI-IS提供，雙目視頻圖像序列
22） KITTI Vision Benchmark (KITTI): 德國卡爾斯魯赫理工學院和美國豐田技術研究中心聯合提供，目前為止最受歡迎的數據集，包含了雙目視覺、激光雷達、GPS等自動駕駛感知所需要的幾乎所有的數據。
23） Malaga Stereo and Laser Urban Data Set (Malage): 馬拉加大學提供， 文檔全，工具豐富，網頁提供了留言交流版塊
24） Oxford robotcar dataset (Oxford): 英國牛津大學提供，包含了某些特定路段長達一年的數據信息，屬首次
25） Stanford track collection (Stanford): 斯坦福大學提供，包含Velodyne 64線激光雷達點雲數據，已經完成了目標注釋，而且還包含GPS/IMU數據
26） Ground Truth Stixel Dataset (Stixel): 德國6D-Vision提供，包含高速路上的大雨場景
27） Udacity dataset: 優達學城提供，開源項目
截止到目前2018年，又有一些可用的無人駕駛數據集，主要包括：
28） ApolloScape: 中國百度提供，可用於研究三維車輛識別、車道識別、車輛定位，國內數據下載速度很快，國內開發者的福音
29） BDD100K：加州大學伯克利分校提供，包含100000個視頻，每一個大約時長40秒，720p，自稱是ApolloScape的800倍大（意味着更長的下載時間）
30） nuScenses：nuTonomy與Scale聯合提供，數據集中包含1000多個場景， 共有140萬張圖片，激光雷達掃描次數達40萬次（旨在判定目標物間的距離），包含110萬個3D邊界盒（bounding boxes）（利用RGB攝像頭、雷達及激光雷達探查目標物），並利用Scale的傳感器融合注釋API進行細致的標注
目前為止，最受歡迎（根據已發表文獻數量）的數據集為三個：KITTI、Caltech、Daimler pedestrian。