作者：Tom HardyDate：2020-05-05
自駕車自動駕駛系統的體系結構一般分為感知系統和決策系統。感知系統一般分為許多子系統，負責自動駕駛汽車定位、靜態障礙物測繪、移動障礙物檢測與跟蹤、道路測繪、交通信號檢測與識別等任務。決策系統通常被划分為許多子系統，負責諸如路徑規划、路徑規划、行為選擇、運動規划和控制等任務。
一、自動駕駛汽車體系結構概述
這一部分概述了自動駕駛汽車自動化系統的典型體系結構，並對感知系統、決策系統及其子系統的職責進行了評述。
下圖顯示了自動駕駛汽車系統的典型架構框圖，其中感知和決策系統顯示為不同顏色的模塊集合。感知系統負責使用車載傳感器捕獲的數據，如光探測和測距（LIDAR）、無線電探測和測距（雷達）、攝像機、全球定位系統（GPS），慣性測量單元（IMU）、里程表，以及有關傳感器模型、道路網絡、交通規則、汽車動力學等的先驗信息的決策。
決策系統負責將汽車從初始位置導航到用戶定義的最終目標，考慮到車輛狀態和環境的內部表現，以及交通規則和乘客的舒適度。為了在整個環境中導航汽車，決策系統需要知道汽車在其中的位置。定位器模塊負責根據環境的靜態地圖估計車輛狀態（姿態、線速度、角速度等）。這些靜態地圖在自動操作之前自動計算，通常使用自動駕駛汽車本身的傳感器，盡管需要手動注釋（即人行橫道或紅綠燈的位置）或編輯（即移除傳感器捕獲的非靜態物體）。自動駕駛汽車可以使用一個或多個不同的離線地圖，如占用網格地圖、緩解地圖或地標地圖，進行定位。
定位模塊接收離線地圖、傳感器數據和平台里程計作為輸入，並生成自動駕駛汽車的狀態作為輸出。需要注意的是，雖然GPS可能有助於定位控制器的處理，但由於樹木、建築物、隧道等造成的干擾，使得GPS定位不可靠，僅GPS在城市環境中進行適當的定位是不夠的。映射器模塊接收離線地圖和狀態作為輸入，並生成在線地圖作為輸出。該在線地圖通常是離線地圖中的信息和使用傳感器數據和當前狀態在線計算的占用網格地圖的合並。在線地圖最好只包含環境的靜態表示，因為這可能有助於決策系統的某些模塊的操作。為了允許檢測和移除在線地圖中的移動對象，通常使用移動對象跟蹤模塊或MOT。
行為選擇器模塊負責選擇當前的駕駛行為，如車道保持、交叉口處理、紅綠燈處理等。行為選擇器根據當前駕駛行為選擇目標，並在決策時間范圍內避免與環境中的靜態和移動障礙物發生碰撞。運動規划模塊負責計算從當前車輛狀態到當前目標的軌跡，該軌跡遵循行為選擇器定義的路徑，滿足車輛的運動學和動力學約束，並為乘客提供舒適性。
二、感知模塊
在這一部分中，我們研究了文獻中提出的自動駕駛汽車感知系統的重要方法，包括定位（或定位）、離線障礙物映射、道路映射、移動障礙物跟蹤和交通信號檢測與識別。
定位模塊負責估計自動駕駛汽車相對於地圖或道路的姿態（位置和方向）（例如，由路緣或道路標記表示）。大多數通用定位子系統都是基於GPS的。然而，總的來說，它們不適用於城市自動駕駛汽車，因為GPS信號不能保證在封閉區域，如樹下、城市峽谷（被大型建築物包圍的道路）或隧道中。文獻中提出了各種不依賴GPS的定位方法。它們主要分為三類：基於激光雷達的、基於激光雷達加相機的和基於相機的。基於激光雷達的定位方法完全依賴於激光雷達傳感器，具有測量精度高、處理方便等優點。然而，盡管激光雷達行業努力降低生產成本，但與相機相比，它仍然有很高的價格。在典型的基於LIDAR+camera的定位方法中，LIDAR數據僅用於建立地圖，並使用相機數據估計自動駕駛汽車相對於地圖的位置，從而降低了成本。基於攝像機的定位方法是廉價和方便的，盡管通常不太精確和可靠。
1.定位
(1)基於激光雷達的定位
經典方法提出了一種結合三維點配准算法的多層自適應蒙特卡羅定位（ML-AMCL）方法。為了估計汽車姿態，從三維激光雷達測量中提取水平層，並使用單獨的AMCL實例將層與使用三維點注冊算法構建的三維點雲地圖的二維投影對齊。對於每個姿態估計，對一系列的里程測量進行一致性檢查。將一致的姿態估計融合到最終的姿態估計中。該方法在實際數據上進行了評估，得到相對於GPS參考的位置估計誤差為0.25m。然而，地圖是昂貴的存儲，因為它是一個三維地圖。Veronese等人提出了一種基於MCL算法的定位方法，該方法通過二維在線占有柵格地圖和二維離線占有柵格地圖之間的地圖匹配來校正粒子的姿態，如下圖所示。評估了兩種地圖匹配距離函數：改進了傳統的兩個柵格地圖之間的似然場距離，以及兩個高維向量之間的自適應標准余弦距離。對IARA自動駕駛汽車的實驗評價表明，利用余弦距離函數，定位方法可以在100hz左右工作，橫向和縱向誤差分別為0.13m和0.26m。
(2)激光雷達和相機方式定位
一些方法利用激光雷達數據建立地圖，利用攝像機數據估計自動駕駛汽車相對於地圖的位置。Xu等人提出了一種立體圖像與三維點雲地圖匹配的定位方法。地圖由一家地圖公司（http://www.whatmms.com）生成，由幾何數據（緯度、經度和海拔）和從里程表、RTK-GPS和2D激光雷達掃描儀獲取的緩解數據組成。他們將地圖的三維點從真實坐標系轉換到攝像機坐標系，並從中提取深度和強度圖像。采用MCL算法，通過將汽車攝像機拍攝的立體深度和強度圖像與從3D點雲地圖中提取的深度和強度圖像進行匹配來估計汽車的位置。該方法在實際數據上進行了評估，並給出了0.08 m到0.25 m之間的位置估計誤差。VIS16提出了一種將地面全景圖與一年中不同季節拍攝的衛星圖像相匹配的自動駕駛汽車定位方法。在他們的方法中，激光雷達數據被分為地面/非地面類別。接下來，利用激光雷達數據將全景相機拍攝的自駕車地面圖像分割成地面/非地面區域，然后進行扭曲以獲得鳥瞰圖。利用kmeans聚類將衛星圖像分割成地面/非地面區域。然后利用MCL將鳥眼圖像與衛星圖像進行匹配，估計姿態。該方法在NavLab11自動駕駛汽車上進行了驗證，獲得了3m~4.8m的位置估計誤差。
(3)基於相機的定位方式
有些方法主要依靠攝像機數據來定位自駕車。Brubaker等人提出了一種基於視覺里程和道路地圖的定位方法。他們使用OpenStreetMap，從中提取出感興趣區域內連接他們的所有十字路口和所有可行駛道路（以分段線性段表示）。然后建立了一個基於圖的路線圖表示法和一個汽車如何通過該圖的概率模型。利用這個概率模型和視覺里程測量，他們估計汽車相對於路線圖的位移。使用遞歸貝葉斯濾波算法，通過利用圖形的結構和車輛如何移動的模型（通過視覺里程計測量）在圖形中執行推斷。該算法能夠通過增加當前姿勢位於與最新汽車運動（直線行駛距離和最近的曲線）相關的圖形點的概率，並通過降低其位於不相關的點的概率來精確定位汽車在圖形中的位置。定位方法在KITTI視覺里程數據集上進行評估，並在行駛52秒后能夠在包含2150公里可行駛道路的18平方公里地圖上定位車輛，精度為4米。一些方法使用相機數據來構建特征地圖。Ziegler等人描述了自主車輛Bertha在歷史悠久的Bertha-Benz紀念路線上自主駕駛所使用的定位方法。提出了兩種基於互補視覺的定位技術：基於點特征的定位（PFL）和基於車道特征的定位（LFL）。在PFL中，使用從當前相機圖像中提取的DIRD描述符，將當前相機圖像與先前在映射過程中獲取的相機圖像序列的圖像進行比較。從映射過程中捕獲的圖像的全局位置恢復全局位置估計。在LFL中，地圖半自動計算，提供道路標記特征（水平道路信號）的全局幾何表示。通過檢測從攝像機圖像的鳥瞰圖中提取的道路標記特征並將其與存儲在地圖中的水平道路信號相關聯，將當前攝像機圖像與地圖匹配。然后，由PFL和LFL獲得的位置估計被Kalman濾波器組合（作者不提供組合定位誤差的估計）。Jo等人提出了類似於LFL的定位方法。一些方法使用相機數據來構造特征地圖，但采用了其他類型的特征。Radwan等人提出了一種基於文本特征檢測的定位方法。現成的文本提取技術用於識別環境中的文本標簽。采用MCL算法對多個觀測值進行融合。該方法在實際數據上進行了評估，並給出了1 m到25 m之間的位置估計誤差。Spangenberg等人提出使用桿狀地標作為主要特征，因為它們是獨特的、長期穩定的，並且可以被立體攝像機檢測到。此外，它們允許內存高效的映射表示。特征檢測主要由立體攝像機完成。定位采用MCL算法結合Kalman濾波器進行魯棒性和傳感器融合。該方法在自主車輛上進行了評估，得到了0.14m到0.19m之間的位置估計誤差。一些方法建議使用神經網絡對自動駕駛汽車進行定位。它們由相關的攝像機圖像和相關的全局位置組成。在映射階段，神經網絡建立環境的表示。為此，它學習一系列圖像和圖像被捕獲的全局位置，這些位置存儲在一個神經地圖中。在定位階段，神經網絡利用神經網絡地圖提供的先驗知識來估計當前觀測圖像的全局位置。這些方法存在儀表刻度誤差，難以實現大面積自主車輛的定位。
2.離線障礙物地圖
離線障礙物地圖子系統負責自動駕駛汽車環境中障礙物地圖的計算。該子系統對於允許自主車輛在公共道路上安全行駛而不與障礙物（如路標、路緣）碰撞至關重要。障礙地圖包含與汽車可能或可能無法導航的位置相關的信息，區分自由（可穿越）空間和占用空間。汽車必須總是在空余的地方。障礙物地圖由地圖繪制階段的傳感器數據構建，並存儲在自主操作階段供以后使用。狀態空間的表示通常區別於拓撲和度量表示。拓撲表示將狀態空間建模為一個圖，其中節點表示重要位置（或特征），邊表示它們之間的拓撲關系（例如位置、方向、鄰近性和連接性）。這些分解的分辨率取決於環境的結構。度量表示通常將狀態空間分解為規則間隔的單元。這種分解不依賴於特征的位置和形狀。度量表示的空間分辨率往往高於拓撲表示的空間分辨率。這樣的多功能性和高效性使得它們成為最常見的空間表現形式。
3.道路建模
道路地圖子系統負責收集自駕車周圍道路和車道的信息，並將其表示在具有幾何和拓撲特性的地圖中，包括相互連接和限制。道路制圖子系統的主要內容是地圖表示和地圖創建。
1） 道路圖表示與障礙地圖一樣，道路圖通常區分為度量地圖和拓撲地圖。
a） 度量表示路線圖的簡單度量表示是一個網格圖，它將環境離散為一個固定大小的單元矩陣，該矩陣包含有關是否屬於某條道路的信息以及移動到其相鄰單元的成本。道路網格地圖簡單易懂。然而，如果移動成本在路線圖的大范圍內是一致的，那么使用網格表示可能需要浪費內存空間和處理時間。路線點序列是壓縮大型道路網格地圖中路徑描述的一種替代方法。路線點是沿路線柵格地圖中的路徑的點。路線點序列可以手動定義，也可以自動從道路網格地圖中提取。對於2005年DARPA大挑戰，提出了路線數據定義文件（RDDF），它是一個格式化文件，包含指定自主車輛運行路徑的航路點坐標和其他相關信息（緯度、經度、橫向邊界偏移和航速）。Carneiro等人為無人駕駛汽車IARA提出一個路線圖，以推斷城市道路中車道的位置和相關特性，該路線圖同時使用了道路網格圖和RDDF路徑，如下圖所示。IARA的道路網格地圖包含0.2×0.2 m的正方形單元格。為屬於車道的每個單元格分配一個非零代碼。從1到16的代碼表示單元格到車道中心的相對距離，以及單元格中存在的車道標記類型（斷開、實心或無）。IARA的RDDF路徑包含間距為0.5米的航路點，並通過獎勵靠近車道中心的單元格的算法自動從道路網格地圖中提取。IARA的道路網格圖和RDDF路徑在聯邦聖埃斯皮里托大學（UFES）主校區的環形道路上進行了3.7公里的自動測試。
b） 拓撲表示路線圖的一種更復雜的表示是拓撲圖，它將環境描述為一個圖形模型，其中頂點表示位置，邊表示它們之間的拓撲關系。拓撲圖可以包含更復雜的信息，包括多車道、車道交叉口和車道合並。針對2007年DARPA城市挑戰賽，提出了路線網絡定義文件（RNDF），這是一個拓撲圖，定義為指定無人駕駛汽車運行路段的格式化文件。根據該文件，道路網絡包括一個或多個路段，每個路段包括一個或多個車道。路段的特征是車道數、街道名稱和速度限制。車道的特征是車道的寬度、車道標線和一組航路點。車道之間的連接以出口和入口航路點為特征。厄姆森等人。URM08使用RNDF的圖表模型作為自動駕駛汽車的老板（卡內基梅隆大學的汽車在2007年DARPA城市挑戰賽中獲得第一名）。圖中的每個節點表示一個航路點，方向邊緣表示將該節點連接到它可以到達的所有其他航路點的車道。基於多個因素的組合，將成本分配給邊緣，這些因素包括穿過與邊緣相關聯的車道的預期時間、車道長度和環境的復雜性。Ramm等人。[RAM11]提出了OpenStreetMap（OSM），它使用節點、方式和關系這三個基本體用拓撲圖來建模環境。節點表示地理點，方式表示節點列表（多段線），關系由任意數量的成員組成，這些成員可以是三種類型中的任何一種，並且具有指定的角色。其他道路特性（如行駛方向和車道數）作為元素的特性給出。Bender等人。BEN14提出了一個高度詳細的拓撲路線圖，稱為lanelet地圖，用於自動車輛泊位。lanelet地圖包括道路的幾何和拓撲特征，如道路、車道和交叉口，使用原子互聯的可駕駛路段，稱為lanelets，如下圖所示。lanelet的幾何圖形由左邊界和右邊界定義，每個邊界對應一個點列表（多段線）。此表示隱式定義每個車道的寬度和形狀及其駕駛方向。lanelet的鄰接構成一個加權有向圖，其中每個lanelet表示一個頂點，lanelet的長度表示其出邊的權重。其他元素描述了限制條件，如速度限制和交通規則，如交叉口和合並權。lanelet地圖在歷史悠久的Bertha-Benz紀念路線上進行了103公里的自動測試。高清地圖（HD-maps）是為無人駕駛汽車提供動力的新一代拓撲地圖。高清地圖具有厘米級的高精度，包含豐富的信息，如車道位置、道路邊界和道路曲率。由於創建高清地圖的成本很高，因此有一些平台可以作為服務提供高清地圖。Dharia對頂級供應商進行了評估和排名，分別是Google、HERE、TomTom和Apple。
2） 路線圖創建創建路線圖的最簡單方法是從航空圖像中提取道路形狀的手動注釋。然而，大型城市道路網所需的大量人工操作可能會使人工標注變得不可行。為此，人們提出了從航空圖像自動生成道路圖的方法。
a） Urmson等人使用從航空圖像中提取的道路形狀的手動注釋，以便為自動駕駛汽車的駕駛台創建道路圖。得到的局部道路形狀是准確的，但由於圖像的分辨率和全局配准的影響，全局位置不太准確。為此，他們的定位方法采用位置濾波處理道路模型誤差。Bender等人。BEN14還采用了自動車輛泊位的lanelet地圖的所有元素和屬性的手動標注。使用OSM格式和java OSM編輯器，使用虛擬頂視圖圖像作為LANELET的手動注釋的基礎。
b） 自動生成從航空圖像自動生成路線圖的方法很多。韋格納等人使用高階條件隨機場（CRF）通過將圖像分割為超級像素並添加連接這些超級像素的路徑來模擬道路網絡的結構。Mnih和Hinton使用卷積神經網絡（CNN）獲得路段。道路分割的一個補充任務是從俯視圖或正面圖像中檢測車道。Aeberhard等人對於寶馬的自動駕駛汽車，使用地面柵格地圖，其中每個單元表示具有高反射率的地面位置的概率。采用二次多項式模型提取道路邊界。車道定位與數字地圖結合使用，以獲得對環境的更高層次的理解。地圖主要由兩層組成：語義幾何層和定位層。語義幾何層包含車道模型幾何和車道連通性等高層語義信息。定位層包含車道標線和道路邊界，與GPS和車輛里程計一起，可用於將車輛匹配到地圖上。
Lee等人還使用激光雷達緩解數據來檢測車道標記和攝像機圖像，以防車道划分不明確。道路上的車道標記是為了在夜間與前照燈一起使用具有良好反光效果的特殊油漆而制成的。有了這個特性，激光雷達可以檢測到道路標記，即使是在光照因雨或陰影而改變的情況下。基於攝像機圖像的車道標線檢測技術只在易受攻擊的情況下運行（如背光和低光）。這種方法在韓國首爾2公里的航程中得到了成功的測試。Carneiro等人使用深度神經網絡（DNN）來推斷自主車輛IARA水平信號不良或無水平信號的車道的位置和相關特性。DNN將LIDAR緩解柵格地圖分割為道路柵格地圖，將非零代碼（從1到16）分配給屬於車道的地圖單元，這些單元表示到車道中心的相對距離和單元中車道標記的類型。利用數十公里的道路標線數據集對DNN進行訓練，使DNN的精度足以滿足IARA的實際自主駕駛。道路分割並不直接提供路線圖，它定義地圖單元是否是道路的一部分。為了解釋道路分割、提取拓撲結構和構建路線圖，需要一個復雜的后處理流水線。巴斯塔尼等人提出了道路追蹤方法，該方法尋求直接從CNN生成路線圖，而不是依賴中間圖像表示。它使用一個迭代的圖形構建過程，一次添加一個單獨的路段，並使用CNN來決定下一個要添加的路段。對15個城市24平方公里的航空影像進行的逐點匹配檢驗，平均誤差為5%。
4.移動物體跟蹤
運動目標跟蹤（MOT）子系統（也稱為多目標檢測與跟蹤-DATMO）負責檢測和跟蹤自動駕駛汽車周圍環境中運動障礙物的姿態。該子系統對於使自主車輛做出決策和避免與潛在移動物體（如其他車輛和行人）碰撞至關重要。隨着時間的推移，移動障礙物的位置通常是根據測距傳感器（如激光雷達和雷達）或立體相機捕獲的數據來估計的。單目攝像機的圖像能夠提供豐富的視覺信息，可以用來改進運動障礙假設。針對傳感器測量的不確定性，采用Bayes濾波器（如Kalman和粒子濾波器）進行狀態預測。MOT方法主要分為六類：傳統的、基於模型的、基於立體視覺的、基於柵格地圖的、基於傳感器融合的和基於深度學習的。
(1)Traditional BasedMOT
傳統的MOT方法主要包括三個步驟：數據分割、數據關聯和過濾。在數據分割階段，利用聚類或模式識別技術對傳感器數據進行分割。在數據關聯步驟中，使用數據關聯技術將數據段與目標（移動障礙物）關聯。在濾波階段，對於每個目標，通過取分配給目標的數據的幾何平均值來估計位置。位置估計通常由卡爾曼濾波或粒子濾波進行更新。
(2)Model Based MOT
基於模型的方法直接從傳感器數據中推斷，使用傳感器的物理模型和對象的幾何模型，並使用非參數濾波器（如粒子濾波器）。不需要數據分割和關聯步驟，因為幾何對象模型將數據關聯到目標。
(3)Stereo VisionBased MOT
基於立體視覺的方法依靠立體圖像對提供的顏色和深度信息來檢測和跟蹤環境中的運動障礙物。Ess等人提出了一種障礙物檢測和識別方法，該方法僅使用來自前視立體攝像機的同步視頻。他們的工作重點是基於行人和汽車探測器每幀輸出的障礙物跟蹤。對於障礙物檢測，他們采用了一種帶有方向梯度直方圖（HOG）特征的支持向量機（SVM）分類器，將每個圖像區域分類為障礙物或非障礙物。對於障礙物跟蹤，他們應用一種假設和驗證策略，將一組軌跡擬合到可能檢測到的障礙物上，使得這些軌跡一起具有很高的后驗概率。候選軌跡集由擴展卡爾曼濾波器（EKFs）生成，EKFs由障礙物檢測初始化。最后，使用模型選擇技術僅保留一組解釋過去和現在觀測結果的最小且無沖突的軌跡。對於MOT，采用半全局匹配（SGM）方法從立體圖像對中重構出稠密視差圖像。三維環境中的所有障礙物都由一組稱為超級像素或stixels的垂直方向的薄矩形來近似。使用Kalman濾波器跟蹤隨時間變化的stixel。最后，使用空間、形狀和運動約束將stixel分割為靜態背景和移動障礙物。在時空分析的基礎上，提出了一種基於外觀的檢測與識別方案，該方案利用特定類別（行人和車輛）模型，提高了視覺感知的魯棒性。
實時識別主要包括三個階段：感興趣區域（ROI）、障礙物分類和目標跟蹤。Chen等人使用半全局匹配算法從立體圖像對計算視差圖。在視差圖的輔助下，簡單線性迭代聚類產生的圖像分割邊界分為共面邊界、鉸鏈邊界和遮擋邊界。利用改進的隨機樣本一致性（RANSAC）算法在自我運動估計過程中獲得運動點。最后，根據邊界類型和運動情況，采用超像素合並的方法提取運動障礙物。
(4)Grid Map BasedMOT
基於柵格地圖的方法首先構建動態環境的占用柵格地圖。地圖構建步驟之后是數據分割、數據關聯和過濾步驟，以便提供場景的對象級表示。Nguyen等人提出了一種基於網格的立體攝像機運動目標檢測與跟蹤方法。他們的工作重點是行人檢測和跟蹤。從立體圖像對重建三維點。利用逆傳感器模型，基於相關的三維點估計網格地圖中每個單元的占用概率。采用分層分割的方法，根據網格單元之間的區域距離，將網格單元划分成若干段。最后，采用交互式多模型（IMM）方法對移動障礙物進行跟蹤。Azim和Aycard使用基於八叉樹的3D局部占用柵格地圖，該地圖將環境划分為占用、自由和未知體素。在構建局部網格地圖后，基於局部網格地圖中自由空間和占用空間的不一致性，可以檢測出移動障礙物。動態體素被聚集成移動的物體，這些物體被進一步划分成層。使用從每個層提取的幾何特征，將移動對象分類為已知類別（行人、自行車、汽車或公共汽車）。
(5)Sensor FusionBased MOT
基於傳感器融合的方法融合來自各種傳感器（如激光雷達、雷達和照相機）的數據，以探索它們各自的特點，提高環境感知能力。Darms等人介紹了自動駕駛汽車“Boss”采用的基於傳感器融合的運動車輛檢測與跟蹤方法（卡內基梅隆大學的汽車在2007年DARPA城市挑戰賽中獲得第一名）。MOT子系統分為兩層。傳感器層從傳感器數據中提取特征，這些特征可用於根據點模型或盒模型描述移動障礙物假設。傳感器層還嘗試將特征與來自融合層的當前預測假設相關聯。無法與現有假設關聯的功能用於生成新的建議。對與給定假設相關聯的每個特征生成觀察，封裝更新假設狀態估計所需的所有信息。融合層根據傳感器層提供的建議和觀測，為每個假設選擇最佳跟蹤模型，並使用卡爾曼濾波器估計（或更新）假設狀態的估計。Cho等人描述卡內基梅隆大學新的實驗性自主車輛使用的新MOT子系統。以前的MOT子系統，由Darms等人提出。Mertz等人使用可直接從二維激光雷達、從三維激光雷達投影到二維平面或從多個傳感器（激光雷達、雷達和相機）融合獲得的掃描線。掃描線被轉換成世界坐標並被分割。為每個線段提取直線和角點特征。分段與現有障礙物相關聯，並使用卡爾曼濾波器更新目標的運動學。Byun等人合並由多個傳感器（如雷達、二維激光雷達和三維激光雷達）生成的移動障礙物軌跡。將二維激光雷達數據投影到二維平面上，利用聯合概率數據關聯濾波器（JPDAF）跟蹤運動障礙物。三維激光雷達數據被投影到一幅圖像上，並使用區域增長算法分割成運動障礙物。最后，利用迭代最近點（ICP）匹配或基於圖像的數據關聯來估計或更新軌跡的姿態。Xu等人。XU15描述了卡內基梅隆大學的新型無人駕駛實驗車對用於保持距離的移動障礙物的上下文感知跟蹤。給定行為上下文，在道路網絡中生成ROI。找到感興趣區域內的候選目標並將其投影到道路坐標中。通過將來自不同傳感器（激光雷達、雷達和攝像機）的所有候選目標關聯起來，獲得距離保持目標。薛等人融合激光雷達和攝像機數據，提高行人檢測的准確性。他們利用行人高度的先驗知識來減少錯誤檢測。他們根據針 孔攝像機方程，結合攝像機和激光雷達的測量來估計行人的高度。
(6)Deep LearningBased MOT
基於深度學習的方法利用深度神經網絡檢測運動障礙物的位置和幾何特征，並基於當前攝像機數據跟蹤其未來狀態。
5、交通信號檢測與識別
交通信號檢測識別子系統負責對交通規則中定義的標志進行檢測和識別，使車輛能夠根據交通規律做出正確的決策。與交通信號相關的任務有很多，在本文中，我們將探討三個主要主題：交通燈、交通標志和自動駕駛汽車周圍環境中的路面標記。
(1)Traffic LightDetection and Recognition
紅綠燈檢測和識別包括檢測汽車周圍環境中一個或多個紅綠燈的位置（例如，在圖像中表示）並識別其狀態（紅色、綠色和黃色）。文獻中提出了各種交通燈檢測和識別方法。在這里，我們只回顧最新的和相關的。交通信號燈的檢測與識別方法主要分為兩類：基於模型的方法和基於學習的方法。交通燈在顏色和形狀信息方面有一個明確的結構。一個普通的紅綠燈有三個燈泡（每個州一個：紅色、綠色和黃色）和一個清晰的形狀。因此，早期的交通燈檢測和識別方法大多是基於模型的。這些方法依賴於手工制作的特征工程，它試圖利用人類掌握的關於物體顏色和形狀的信息來建立一個能夠檢測和/或識別物體的模型。當假設沒有嚴格遵守時，使用顏色和形狀信息的方法是不可靠的。為了增強其魯棒性，提出了一種不同特征（如顏色、形狀和結構）的組合。例如提出了一個多特征系統，該系統結合了顏色（使用顏色分割）、形狀/結構（使用黑盒檢測）和地理信息（僅在預期有已知紅綠燈時使用該系統）。然而，他們的系統在基於模型的方法中普遍存在大量的超參數，這通常意味着在某些情況下需要重新校准。作者在一個內部私有數據集上進行了實驗，並指出故障是由於過度曝光、遮擋、交通燈的非標准安裝以及其他一些在現實情況下並不罕見的情況造成的。在基於模型的方法的背景下，這種結合表明是不夠的。因此，研究者開始引入基於學習的方法。在基於學習的方法中，特征仍然是手工制作的，但是檢測和/或識別過程從基於規則變為基於學習。主要方法包括傳統機器學習方式和深度學習方式。
(2)Traffic SignDetection and Recognition
交通標志檢測與識別包括檢測環境中交通標志的位置並識別其類別（如限速、停車和讓行標志）。與基於模型的方法相比，基於學習的方法得到了改進並取得了更好的結果。隨着深度學習在一般計算機視覺任務中的興起，卷積神經網絡已成為交通標志檢測和識別領域的研究熱點，在GTSRB和BTS的識別任務中分別達到了F1分數的99.71%和98.86%。
(3)Pavement MarkingDetection and Recognition
路面標線檢測與識別包括檢測路面標線的位置並識別其類型（如車道標線、道路標線、信息和人行橫道）。路面標線檢測與識別包括檢測路面標線的位置並識別其類型（如車道標線、道路標線、信息和人行橫道）。
大多數研究一次只處理一種路面標線，而不是同時處理所有標線。這可能是因為既沒有一個廣泛使用的數據庫，也沒有一個共識，即研究人員在處理路面標線檢測和識別時，應該關注哪些符號集。一個重要的路面標記是道路中的車道定義。早些時候，大多數車道標記檢測方法都是基於模型或學習的。形狀和顏色是最常見的特征，直線和曲線是最常見的車道表示。在BER17c中，作者提出了一個完整的自我車道分析系統。在這些系統的特點中，作者聲稱能夠檢測車道及其屬性、人行橫道、車道變換事件和一些路面標線。作者還發布了用於評估這些類型系統的數據集。深度學習是最近流行的另一種方法，像GUR16這樣的方法已經顯示出很好的效果。作者建議（i）使用兩個橫向安裝的下向攝像機，（ii）將橫向距離估計建模為一個分類問題，其中他們使用CNN來處理該任務。在這種情況下，他們主張在一個私人數據庫中以小於2像素的平均絕對誤差（MAE）達到亞厘米的精度。許多用於車道標記檢測的方法也嘗試用於道路標記檢測。它們通常使用幾何和光度特征。此外，各種道路標線檢測與識別方法都采用了逆透視映射（IPM），降低了透視效果，從而使問題更容易求解，提高了結果的准確性。最近，一些方法使用最大穩定極值區域（MSER）來檢測感興趣區域（即可能包含道路標記的區域）和用於識別道路標記的卷積網絡。在BAI17中，作者提出了IPM、MSER和DBSCAN相結合的算法來檢測道路標線，並將PCANet與支持向量機或線性回歸相結合進行分類。在單獨評估分類任務時，它們的准確率高達99.1%，而在同時報告檢測和識別性能時，其准確率則降至93.1%。在道路標記的上下文中，消息通常是單獨處理的。一些消息檢測和識別方法AHM17將不同的消息視為不同的類別（即，它們首先檢測消息在場景中的位置，然后識別其類別），而大多數方法首先識別字母，然后使用基於OCR的方法進行寫作。前者通常對天氣和光照條件更為敏感，但后者可以識別看不見的信息。在道路標線的設置中，行人過街經常被單獨調查。大多數人行橫道檢測方法利用人行橫道通常呈現的規則形狀和黑白圖案。因此，在許多實際應用中，這項任務被放在了有利於魯棒行人檢測器的位置。
三、決策模塊
在本節中，我們將對文獻中所報道的自動駕駛汽車決策系統的相關技術進行研究，包括路線規划、行為選擇、運動規划和控制子系統。
1、RoutePlanning
路線規划子系統負責計算從自駕車的初始位置到用戶操作員定義的最終位置之間通過道路網絡的路線。如果用一個加權有向圖來表示道路網，其邊權表示通過一個路段的代價，那么計算一條路線的問題就可以歸結為在加權有向圖中尋找最短路徑的問題。然而，對於大型道路網絡，經典的最短路徑算法，如Dijkstra和A*的復雜度是不切實際的。在過去的十年中，道路網絡中的路線規划算法的性能有了顯著的進步。新開發的算法可以在毫秒或更短的時間內計算出行駛方向。道路網中的路徑規划方法在查詢時間、預處理時間、空間利用率和對輸入變化的魯棒性等方面提供了不同的權衡。它們主要可分為四類：goal-directed, separator-based, hierarchical, bounded-hop, andcombinations。
(1)Goal-DirectedTechniques
目標導向技術通過避免掃描不在目標頂點方向上的頂點來引導從源頂點到目標頂點的搜索。A*是一種經典的目標導向最短路徑算法。與Dijkstra算法相比，該算法在每個頂點上使用一個較低的距離函數，從而使更接近目標的頂點更早地被掃描，從而獲得更好的性能。ALT（A*、地標和三角形不等式）算法通過選取一小組頂點作為地標來增強A*。在預處理階段，計算所有地標和所有頂點之間的距離。在查詢階段，利用包含地標的三角形不等式估計任意頂點的有效下界距離。查詢性能和正確性取決於是否明智地選擇頂點作為標記。另一個目標定向算法是Arc Flags。在預處理階段，圖被划分成具有少量邊界頂點和平衡（即類似）頂點的單元。通過從每個邊界頂點向后生長最短路徑樹，為樹的所有弧（或邊）設置第i個標志，計算單元i的弧標志。在查詢階段，該算法將修剪沒有為包含目標頂點的單元格設置標志的邊。arc flags方法具有較高的預處理時間，但在目標定向技術中查詢時間最快。
(2)Separator-BasedTechniques
基於分隔符的技術基於頂點或邊分隔符。頂點（或邊）分隔符是頂點（或邊）的一個小子集，其移除將圖分解為幾個平衡的單元。基於頂點分隔符的算法使用頂點分隔符來計算覆蓋圖。快捷邊將添加到覆蓋圖中，以便保留與完整圖的任何頂點對之間的距離。覆蓋圖比完整圖小得多，用於加速查詢算法。HPML（High Performance multivel Routing，高性能多級路由）算法是這種方法的一個變種，它顯著減少了查詢時間，但代價是增加了空間使用量和預處理時間，在不同的級別上為圖添加了更多的快捷方式。
基於弧分隔符的算法使用邊界分隔符將圖分解為平衡的單元，試圖最小化連接不同單元邊界頂點的切割邊數。快捷方式將添加到覆蓋圖中，以保持每個單元內邊界頂點之間的距離。CRP（Customizable Route Planning，可定制路線規划）算法DEL15是為滿足現實道路網絡的需求而設計的，例如處理轉彎成本和執行成本函數的快速更新。它的預處理有兩個階段。第一階段計算多層分區和覆蓋的拓撲。第二階段通過自下而上和並行處理單元來計算團邊的代價。查詢作為覆蓋圖中的雙向搜索進行處理。
(3)HierarchicalTechniques
層次技術利用了道路網絡固有的層次結構，其中主要道路（如公路）組成一個小的干線子網。一旦源頂點和目標頂點距離較遠，查詢算法只掃描子網的頂點。預處理階段根據實際的最短路徑結構計算頂點或邊的重要性。CH（compression Hierarchies）算法是一種分層技術，它實現了創建快捷方式以跳過重要性較低的頂點的思想。它重復執行頂點壓縮操作，如果圖中最短路徑唯一且包含要壓縮的頂點，則從圖中刪除最不重要的頂點並在每對相鄰頂點之間創建快捷方式。CH是通用的，因此可以作為其他點到點算法和擴展查詢的構建塊。REACH算法是一種分層技術，在預處理階段計算頂點的中心度度量（REACH值），並在查詢階段使用它們來修剪基於Dijkstra的雙向搜索。設P是從源頂點s到包含頂點v的目標頂點t的最短路徑。v相對於P的到達值是r（v，P）=min{距離（s，v），距離（v，t）}。
(4)Bounded-HopTechniques
有界跳技術通過向圖中添加虛擬快捷方式來預計算頂點對之間的距離。由於預先計算所有頂點對之間的距離對於大型網絡是不可行的，因此有界跳技術的目標是在跳數很少的情況下獲得任何虛擬路徑的長度。
(5)算法的結合
可以將各種技術組合到利用不同圖形特性的混合算法中。REAL algorithm結合了REACH和ALT。REACHFlags algorithm結合了REACH和Arc標志。SHARC算法[BAU09]將快捷方式的計算與多級弧標志結合起來。CHASE算法[BAU10]結合了CH和Arc標志。TNR+AF算法結合了TNR和Arc標志。PHAST算法可以與多種技術相結合，利用多核cpu和gpu的並行性來加速它們。巴斯特等人。使用眾所周知的歐洲大陸大小的基准西歐和現實世界道路網絡的簡化模型，對這里描述的許多路線規划技術進行了實驗性評估。
2.MotionPlanning
運動規划子系統負責計算從自動駕駛汽車的當前狀態到行為選擇子系統定義的下一個局部目標狀態的路徑或軌跡。該運動方案執行局部駕駛行為，滿足汽車的運動學和動力學約束，為乘客提供舒適性，避免與環境中的靜態和移動障礙物發生碰撞。
運動計划可以是路徑或軌跡。路徑是汽車狀態的序列，它不定義汽車狀態如何隨時間演變。此任務可委托給其他子系統（如行為選擇子系統）或速度剖面可定義為曲率和接近障礙物的函數。軌跡是一條指定汽車狀態隨時間演化的路徑。
(1)Path Planning
路徑規划包括從汽車當前狀態到下一個目標狀態生成一系列狀態，這並不定義汽車狀態隨時間的演變。路徑規划通常分為全局和局部路徑規划。在全局路徑規划中，在車輛開始移動之前，使用環境的脫機全局地圖計算全局路徑。在局部路徑規划中，當汽車行駛時，利用周圍環境的在線局部地圖生成局部路徑，使汽車能夠處理行駛中的障礙物。路徑規划的方法主要分為兩類：基於圖搜索的和基於插值曲線的方法。
(2)軌跡規划
軌跡規划包括從自動駕駛汽車的當前狀態到下一個目標狀態的序列生成，該序列指定汽車狀態隨時間的演變。軌跡規划方法主要分為四類：基於圖搜索的、基於采樣的、基於插值曲線的和基於數值優化的方法。
(3)Control
在自動駕駛汽車領域，控制是指工程領域自動控制背后的理論，它涵蓋了在沒有持續的直接人為干預的情況下，應用各種機制來操作和調節過程。在最簡單的自動控制類型中，控制子系統將過程的輸出與期望的輸入進行比較，並使用誤差（過程的輸出與期望的輸入之間的差異）來改變過程的輸入，從而使過程在受到干擾的情況下保持在其設定點。在自主車輛中，自動控制理論一般應用於路徑跟蹤和硬件驅動方法。路徑跟蹤方法的作用是在車輛模型存在誤差等情況下穩定運動計划的執行。硬件驅動控制的作用是計算在執行器模型和其他模型不准確的情況下執行運動計划的轉向、節氣門和制動執行器輸入。路徑跟蹤方法也被稱為控制技術，因為它們采用自動控制理論，並將路徑視為要控制的信號。然而，在自主車輛領域，將其稱為路徑跟蹤方法更為合適，以區別於硬件驅動控制方法。