同向逆向、多車道線檢測
輸入輸出接口
Input：
（1）左右兩個攝像頭采集的實時圖像視頻分辨率（整型int）
（2）左右兩個攝像頭采集的實時圖像視頻格式 （RGB，YUV，MP4等）
（3）攝像頭標定參數（中心位置（x,y）和5個畸變
系數（2徑向，2切向，1棱向），浮點型float）
（4）攝像頭初始化參數（攝像頭初始位置和三個坐標方向
的旋轉角度，車輛寬度高度車速等等，浮點型float）
Output：
（1）左右兩邊各個車道線的坐標位置（浮點型float）
（2）車輛偏移左右兩邊的相對位置（浮點型float）
（3）車道線坐標位置或者曲線擬合系數（浮點型float）
（4）車道線偏離預警 （char 字符型）
1. 功能定義
（1）左右兩邊各個車道線的坐標位置
（2）車輛偏移左右兩邊的相對位置
（3）車道線坐標位置或者曲線擬合系數
（4）車道線偏離預警
2. 技術路線方案
2.1 方案概述
本方案擬將每條車道線的檢測問題對待為一個基於圖像實例的分割問題。方案通過設計合適的深度神經網絡，實現對同向、逆向多車道線不同實例的分割模型，實現基於原前視角圖像的車道線特征提取，並將結果進行特征嵌入，得到不同實例的分割熱圖。其次，將分割結果應用俯仰角變換矩陣變換到俯視角場景，在此視角去除掉非車道線部分。后為每一條檢測的車道線擬合一個三階多項式，並將擬合的車道線重新映射回原始圖像，作為整個網絡的輸出。本項目通過構建端到端的深度神經網絡將車道線特征提取、車道線檢測、俯仰角變換、車道線建模等統一通過深度學習的技術實現。通過網絡學習得到視角變換參數，確保了對道路平面變化的魯棒性，使其不依賴於固定的、預定義的參數。在將圖片輸入網絡之前，首先將對其做一些預處理，當訓練數據集中的夜間車道圖像充分時，可以將白天的車道檢測模型遷移到夜間數據上學習；當訓練數據集中夜間車道圖像數量較少時，擬采用去噪、感興趣區域提取、甚至采用將夜晚圖像轉變為白天圖像等的圖像增強方法來提高模型的准確率。
圖1. 同向逆向多車道線檢測技術方案圖
如圖 1 所示，給定一幅圖像，將其輸入到深度多車道線檢測網絡，通過網 絡推理，得到一幅該車道線的實例分割圖，並給每個車道線像素標記一個 Lane ID。隨后，將實例分割圖通過俯仰角變換網絡 H-Net 進行推理，將原視角的車 道線圖像轉換到俯視角。 再次，將俯視角圖像映射回原圖視角，並使用小二乘為每條車道擬合一個三階多項式，由此將曲線預測的車道線結果與實際的車道線結果計算誤差，並訓練網絡。測試階段將直接輸出預測的車道線曲線坐 標。 后，結合深度循環網絡 LSTM 實現對車道線的跟蹤。
2.2數據集標注
數據集的標注質量直接影響模型的好壞，並且數據集的標注類型，取決於具體的計算機視覺任務。由於復雜條件下多車道線同向和逆向檢測模型是一個基於深度學習的圖像語義分割模型，因此需要采集真實駕駛條件下具有地理、 環境和天氣多樣性的樣本集，並進行像素級標注。如，tuSimple 車道數據集的像素級標注是使用分割標注工具，對圖片中的車道線軌跡進行打點標注，打點的密集程度決定了標注的細粒程度。連接標好的離散點，便會形成連續的車道 線，在表示數據集標注的 json 文件中存入了每張圖像的車道線標注點的 x 坐 標、y 坐標和文件的相對路徑信息。如圖 168 所示，為了滿足多車道線同向和逆 向檢測的任務需求，標注的像素級分割數據集，需要定義 3 種類別車道線，其中黃色標注的車道線是區分與當前車輛行駛方向同向和逆向的標志，車輛在行駛過程中不得變道穿過具有黃色標注的車道線。與當前行駛車輛在相同方向的車道線，在如圖 168 中被標注為綠色的車道線，這樣當前行駛的車輛可以視當前交通情況變道行駛在任意綠色車道線內。紅色標注的車道線為與當前車輛行駛 方向相反的車道線，車輛不能行駛在這樣的車道線內。
圖2.（左） 車道線標注；（右） 標注可視化說明
方案擬提出的多車道線同向和逆向檢測算法，采用主流的基於深度學習 的實例分割方案。除了同上述 tuSimple 車道數據集需要對車道線的軌跡進行標點注釋以外，還需要針對車輛遮擋或者車道線不明顯的情況。根據圖像上下 文標注車道線軌跡，在數據集的 label 中表明每條車道線是屬於上述 3 種類別 中的哪種類別，並將這個標注信息存儲在對應的 json 文件中。另外擬標注的數據集為了更好的訓練模型的實例分割能力，對訓練集和驗證集中的每張圖片 中的車道線都需要進行像素級的實例分割標注形成對應的圖像真實標簽。
2.3圖像預處理
圖像預處理步驟是車道線檢測任務的重要組成部分，有助於減少計算時間並提高算法的性能。它還用於消除由於攝像機運動不穩定造成的傳感器噪聲 和誤差，模型的輸入樣本是從攝像機獲取的基於 RGB 的彩色圖像序列，該攝像機沿着中心線安裝在車輛正前方的正視圖中這樣可以清楚地看到前方的道路，而不會妨礙駕駛員的視野。針對在夜間低光條件下的車道線圖像樣本或者夜間極端光線情況下的樣本，擬提出端到端的學習方法，即訓練一個全卷積網 絡 FCN 來直接處理快速成像系統中的低亮度圖像。純粹的 FCN 結構可以有效地代表許多圖像處理算法。受此啟發，擬調查並研究這種方法在極端低光條件 下成像系統的應用。相比於傳統圖像處理方法使用的 sRGB 圖像，在這里使用 原始傳感器數據。如圖 169 展示了擬提出方法的模型結構圖。
圖3. 夜間圖像處理模型結構
對於 Bayer 數組，將輸入打包為四個通道並在每個通道上將空間分辨率 降低一半。對於 X-Trans 數組(圖中未顯示出)，原始數據以 6×6 排列塊組成； 通過交換相鄰通道元素的方法將 36 個通道的數組打包成 9 個通道。此外，消 除黑色像素並按照期望的倍數縮放數據(例如，x100 或 x300)。將處理后數據 作為 FCN 模型的輸入，輸出是一個帶 12 通道的圖像，其空間分辨率只有輸入 的一半。將兩個標准的 FCN 結構作為模型的核心架構：用於快速圖像處理的 多尺度上下文聚合網絡(CAN)和 U-net 網絡。避免使用完全連接結構及模型集 成方式，默認架構是 U-net。放大比率決定了模型的亮度輸出。在這個方法中， 放大比率設置在外部指定並作為輸入提供給模型，這類似於相機中的 ISO 設置。可以通過設置不同的放大率來調整輸出圖像的亮度，在測試時間，改方法 能夠抑制盲點噪聲並實現顏色轉換，並在 sRGB空間網絡直接處理圖像，得到 網絡的輸出。 為了防止模型過擬合，除了在損失函數上使用正則項外，擬采用圖像平移、翻轉、剪切等圖像增強技術，增加模型的泛化能力，提高模型在測試集和 實際車道線檢測時的准確率和魯棒性。
2.4 DeepLaneNet 結構
本項目擬使用基於深度學習的實例分割網絡進行車道線的分割。在輸入方面，將車的正前方視野圖像與上方視野圖像設置成相同的大小，將圖像共同輸 入至網絡（如圖 170 所示）。
圖4. DeepLaneNet 結構圖
這里將網絡分為編碼器（Encoder）和解碼器（Decoder）兩部分組成，編 碼器使用對於移動設備支持很好的輕量神經網絡 MobileNetv2 架構（對應圖中 DCNN 部分） 。MobileNetv2 架構是基於倒置殘差結構(Inverted Residual Structure)，原本的殘差結構的主分支有三個卷積，兩個逐點卷積通道數較多， 而倒置的殘差結構剛好相反，中間的卷積通道數(依舊使用深度分離卷積結構)較多，旁邊的較小。這個網絡與新的 Densnet 相比，性能稍遜，但是對於參數量與計算量有着非常大的減少，對於計算速度有極大的提升，適合項目實時 性的需求。 解碼器通過加入空洞卷積完成的。空洞卷積金字塔是由 3 個空洞率不同 的空洞卷積和一個 1×1 的卷積，以及全局平均池化的特征融合而成。通過深度卷積神經網絡的特征提取之后，將特征通過“空洞卷積金字塔”，與深度卷 積神經網絡的特征相融合，然后使用循環神經網絡（RNN）對於視頻圖像的 前后層特征的相關性進行提取，后經過 3×3 的卷積進行融合的特征整合， 將分割結果還原成原圖的大小，在經過聚類算法將車道線提取出來。
2.5 H-Net
通常將像素映射到俯視圖中使用的是一個固定的轉換矩陣，然而，由於轉換參數是固定在所有圖像上的，當地面不平時，例如在斜坡上，固定的轉換矩 陣就不能解決這個問題。為了解決這個問題，本項目擬設計一個 H-Net 的網絡 來學習變換的參數，該轉換能夠更好地對車道線進行擬合。 H-Net 是一個普通的卷積神經網絡，輸出是一個變換矩陣 H，該網絡允許在地平面變化的情況下調整變換矩陣 H 參數，從而更加正確地擬合車道線。H有六個變量，其形式為：
其中 0 用來執行約束條件，即水平線在轉換下保持水平。
2.6 車道線擬合
對於給定的車道線像素 P,使用轉換矩陣將其轉換到俯視角，P0=HP,用小二乘算法來擬合一個三次多項式 ，后再映射回原圖，如圖 5所示。
圖5. 左：使用 H-net 生成的矩陣 H 來轉換通道點。
中：曲線擬合轉換點。 右：擬合的點被映射回原圖像
為了訓練 H-Net，使其輸出的變換矩陣優，構造了以下損失函數。給定N 個真實車道線像素
，首先用 H-Net 的得到的變換矩陣將其進行透視變換：
通過這些變換點，可使用小二乘閉式解來擬合多項式
其中
對每一個
位置預測其對應的
，並將其映射回原始圖像
，其中
且
，損失函數定義為：
2.7 LSTM 車道跟蹤
由於 LSTM 在處理序列數據上表現出的優越性能，本項目擬采用 LSTM 來對車道線進行跟蹤。如圖 172 所示，將擬合的車道線參數 w=[α，β，γ，δ]作 為 LSTM 的輸入，把一段時間內每一時間步擬合的車道線參數輸入 LSTM，使用預測參數與真實參數的交叉熵作為損失函數來訓練網絡，從而預測出后面時 間步車道線的參數。后，將車道線的擬合結果與 LSTM 的預測結果相結合，映射回原始圖像作為整個網絡的輸出。當某一幀圖像沒有檢測到車道線時，就 可以使用 LSTM 預測的車道線作為整個網絡輸出。
圖6. LSTM 結構圖
2.8特色與創新
（1）主要特色：把同向和逆向多車道線檢測、惡劣天氣和照明條件下同向和逆向多車道線檢測中的關鍵技術，包括：車道線特征提取、車道線檢測、前俯視角變換、車道線建模，統一在一個端到端的深度車道線檢測網絡模型中通過深度學習的方法實現。該方案相較於傳統的車道線檢測方 法，具有較強的魯棒性和應對不同工況環境的泛化能力。
（2）項目主要面向夜間駕駛環境，數據集采集與標注難度大、圖像光線與質 量不理想， 項目構建的夜間多車道線檢測數據集填補了車道線研究領域的空白。項目提出的研究內容能夠改進車道線在較差光線和夜間環境下的 檢測及跟蹤效果，能夠提高企業核心技術競爭力和自主創新能力。
（3）主要創新：在深度多車道線檢測模型的設計中，采用輕量化網絡模型， 使用 Encoder-Decoder 的框架，把提取車道線特征和實例分割有機結合起來，同時訓練一個網絡學習圖像視角變換中的變換矩陣。這是車道線檢測研究領域的創新。
（4）主要創新：車道線檢測方法要嵌入車載系統中，模型應該具有低功耗和實時性，需要對模型進行壓縮或者改進。這是將科研成果和實際應用相結合的創新。