AI實戰分享 | 基於CANN的輔助駕駛應用案例

摘要：什么是輔助駕駛？簡而言之，就是借助汽車對周圍環境的自動感知和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

導讀：基於昇騰AI異構計算架構CANN的輔助駕駛AI應用實戰開發案例，不僅可以實時檢測路面車輛，還能計算出車距，輔助駕駛員進行決策。此項目源碼全部開源，傳送門已開啟，小伙伴們快來體驗吧！

引言

科幻片中光怪陸離的飛行器，寄托着人類對未來出行的無限遐想。隨着科技的進步，能夠自動駕駛的汽車，已經離我們越來越近。

自動駕駛帶給人類的驚喜不止是酷炫的自動超車變道，還有它在緩解交通阻塞、減少空氣污染、提高道路安全性方面的種種可能性。因此也引得無數汽車企業、科技企業競相加入這條行業賽道，力求不斷突破。

然而，自動駕駛並不是一蹴而就的，由於技術瓶頸和相關法律法規的限制並未真正意義落地，當下的智能汽車正處於半自動駕駛（輔助駕駛）階段。

什么是輔助駕駛？簡而言之，就是借助汽車對周圍環境的自動感知和分析，讓駕駛員預先察覺可能發生的危險，有效增加汽車駕駛的舒適性和安全性。

當然，輔助駕駛系統也是非常復雜的，為實現汽車在多種復雜場景下的通用性，以及技術層面的多樣性，離不開人工智能技術。我們開發了一套基於昇騰AI異構計算架構CANN（Compute Architecture for Neural Networks）的簡易版輔助駕駛AI應用，具備車輛檢測、車距計算等基本功能，作為輔助駕駛入門級項目再合適不過啦！

話不多說，開啟項目傳送門：https://www.hiascend.com/zh/developer/mindx-sdk/driveassist

CANN是華為專門針對AI場景推出的異構計算架構，以提升用戶開發效率和釋放昇騰AI處理器澎湃算力為目的，並且提供多層次的AscendCL編程接口，支持用戶快速構建基於昇騰平台的AI應用和業務。

當然，真正意義上的輔助駕駛系統遠比這個AI應用更復雜，下面主要介紹如何借助AscendCL編程接口對輸入視頻進行預測推理，從而實現對車輛及車道線的智能檢測。

典型的目標檢測算法

為模仿駕駛員對車輛的辨別和分析，需要建立起一個類似人腦的算法結構，找出目標物體，確定它們的類別和位置。同時也需要解決影響檢測准確性的一系列問題，比如汽車的外觀和姿態、光照和遮擋等因素帶來的干擾。

以YOLO（You Only Look Once）為代表的目標檢測算法為各類物體的檢測提供了更多可能性。從人臉檢測到車流控制，從人群計數到農作物監控，目標檢測算法在各領域都發揮着不可或缺的作用。

YOLO算法目前已經迭代到v5版本，本項目使用的是YOLOv4，下面我們來看看它的結構。

圖片來自https://blog.csdn.net/andyjkt/article/details/107590669

從算法結構方面看，YOLOv4由三部分組成：Backbone層提取特征，Neck層提取一些更復雜的特征，最后由Head層計算預測輸出。

1. Backbone層：通過CSPDarknet53框架在不同圖像細粒度上聚合並形成具備圖像特征的卷積神經網絡，主要用於圖像特征提取。
2. Neck層：由SPP或PAN等一系列混合和組合圖像特征的網絡層組成，提取一些更復雜的特性，並將圖像特征傳遞到預測層。
3. Head層：對圖像特征進行預測，生成邊界合並預測類別。

從流程方面看，YOLOv4主要分為三個處理階段：

1. 首先，將圖像分割為若干個網格（grid cell），每個網格負責生成3個包圍框（bounding box），以及對應置信度。
2. 接着，YOLOv4會用非極大值抑制算法（NMS），將與標注數據（ground truth）重合度低的bounding box剔除。
3. 經過回歸處理后，最后剩下的bounding box所在的位置就是YOLOv4預測目標所在的位置。

圖片源自YOLO原始論文，參見文章末尾

昇騰強大算力平台，讓訓練“快”到飛起

和人類掌握某項技能一樣，算法模型本身也需要經過不斷地訓練和試錯才能滿足特定業務場景需求，面對成千上萬的數據量和參數量，訓練時間可能需要幾天甚至上月，這時，一個擁有強大算力的AI計算平台簡直能救你於水火。

昇騰AI基礎軟硬件平台，依托昇騰AI處理器強大的算力，借助異構計算架構CANN的軟硬件協同優化充分釋放硬件算力，為高效訓練奠定了堅實的基礎。

我們知道，AI算法模型可以基於不同AI框架定義。無論是華為開源AI框架昇思MindSpore，還是TensorFlow、PyTorch、Caffe等其他常用AI框架，CANN都能輕松轉換成標准化的Ascend IR(Intermediate Representation)表達的圖格式，屏蔽AI框架差異，讓你快速搞定算法遷移，即刻體驗昇騰AI 處理器的澎湃算力。

此外，在全新一代CANN 5.0版本中，更是能通過圖級和算子級的編譯優化、自動調優等軟硬件深度協同優化，全面釋放硬件澎湃算力，達到AI模型訓練性能的大幅提升。針對包括分類、檢測、NLP、語義分割在內的常用模型訓練場景，均可實現性能翻番，讓整個訓練過程快到“飛”起。

本項目使用的YOLOv4原始模型是基於Pytorch框架和昇騰AI處理器訓練的，開發者們可以直接下載使用，也可根據實際精度需要重訓：https://www.hiascend.com/zh/software/modelzoo/detail/2/e2c648dc7ffb473fb41d687a1a490e28

AscendCL接口助力開發者高效編程

有了訓練好的AI算法模型之后，就能借助AscendCL編程接口實現對視頻車輛及車道線的智能檢測了。

AscendCL（Ascend Computing Language）是一套用於開發深度神經網絡推理應用的C語言API庫，兼具運行時資源管理、模型加載與執行、圖像預處理等能力，能夠讓開發者輕松解鎖圖片分類、目標檢測等各類AI應用。並且為開發者屏蔽底層處理器的差異，讓開發者只需要掌握一套API，就可以全面應用於昇騰全系列AI處理器。

借助AscendCL編程接口，采用如下圖所示的模塊化設計，便能快速實現一個基於YOLOv4算法的目標檢測應用。

首先介紹一下核心代碼。

在預處理階段，主要將opencv讀到的圖像轉換成符合模型輸入標准格式和尺寸的圖像（源碼如下圖所示，完整版代碼請查看文末鏈接）。

1. 首先將opencv每幀讀到的BGR圖像轉換成RGB圖像，並通過模型輸入所需寬高與原圖像寬高得到縮放系數scale、偏移量shift、偏移系數shift_ratio。
2. 將原圖像resize到新的寬高得到image_，構建一個全0的新圖像，寬高和模型輸入寬高相同。將image_以np.array的形式填充到全0的圖像中，不在偏移范圍內的則都是0，將的圖像的數據類型轉換成np中32位浮點型。
3. 為了消除奇異樣本數據的影像，進一步做歸一化處理。
4. 最后將通道數換到圖像的第一維度，返回新生成的圖像和原始圖像。

在推理階段，調用acl_model中的execute函數執行模型（完整版代碼請查看文末鏈接），預處理后的圖像會被送至轉成om的YOLOv4模型，返回推理結果。

在后處理階段中，后處理包括根據推理結果獲取檢測框坐標和置信度，使用NMS消除多余的邊框，使用透視變換矩陣計算車距，用opencv檢測車道線，最終繪制帶有車輛檢測框、檢測框類別、車距和車道線的新圖像。

梳理一下整體開發流程：

1. 運行管理資源申請：用於初始化系統內部資源，此部分為固定的調用流程。
2. 加載模型文件並構建輸出的內存：將訓練好的模型轉換成om離線模型並且從文件加載。此時需要由用戶自行管理模型運行的內存，根據內存中加載的模型獲取模型的基本信息包括模型輸入、輸出數據的buffer大小。由模型的基本信息構建模型輸出內存，為接下來的模型推理做准備。
3. 數據預處理：對讀入的圖像數據進行預處理，然后構建模型的輸入數據。首先會對輸入視頻中的圖像畫面按每幀進行處理；然后由BGR轉成RGB格式；接着使用resize將圖像大小變成416x416，最后除以255進行歸一化處理以消除奇異數據的影響。
4. 模型推理：根據構建好的模型輸入數據進行模型推理。
5. 解析推理結果：基於推理得到的檢測邊框和各邊框的置信度，使用NMS消除多余的邊框，將新的邊框和類別繪制在輸出圖像上。

這樣，一個基於CANN開發的簡易版AI輔助駕駛小應用就開發完成了，小伙伴們點擊如下鏈接就能直接體驗效果啦！https://www.hiascend.com/zh/developer/mindx-sdk/driveassist

可能有人會問，車距是怎么算出來的？其實車距計算采用的是透視變換原理，使用opencv的getPerspectiveTransform方法通過將駕駛過程中拍攝的直視圖轉換成俯視圖計算車距。此外，用來拍攝行駛畫面的相機也影響車距的計算。需要查找相機的內外參矩陣，結合畸變系數用相機標定技術將圖像中的距離信息映射為客觀世界中的真實距離，從而計算出與其他車的距離。這幾個參數如何查找可以參考文末的視頻鏈接。

我們的項目代碼全部開源，感興趣的小伙伴可以下拉到文末直接訪問源碼。

當前開發的這個AI輔助駕駛小應用，針對分辨率1280x720、幀率29.97、時長16秒的視頻，單幀圖像在昇騰AI處理器上的純推理時長為14.19毫秒，但由於圖像的前處理和后處理是在CPU上進行的，因此影響整體性能，可通過以下方式改進：

1. 前處理和后處理根據CPU數量和處理時長使用多個線程並行處理，提高昇騰AI處理器使用率。

1. 使用多個昇騰AI處理器進行多路推理，進一步提升性能。
2. 優化代碼算法，將后處理部分由CPU下沉到昇騰AI處理器減少后處理耗時，如何下沉可參考

https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/YOLOV3_coco_detection_picture_with_postprocess_op

1. 使用Auto Tune工具，對模型進行調優，減少模型單次推理時長
2. 使用Profiling工具，分析模型中耗時算子，對算子進行優化

歡迎小伙伴一起參與項目改進，如有疑問也歡迎在gitee互動留言！

總結

如今很多汽車、高鐵和飛機上都搭載了輔助駕駛系統，不僅可以減輕駕駛員的負擔，同時還降低了事故發生的概率。隨着越來越多的行業匯入AI這條道路，昇騰CANN也將憑借技術優勢大大降低企業和個人開發者的使用門檻，通過不斷創新打造昇騰AI極致性能體驗，加速AI應用行業落地步伐，助力合作伙伴在未來AI之路上越走越遠！

相關鏈接：

在線體驗鏈接：https://www.hiascend.com/zh/developer/mindx-sdk/driveassist

Gitee源碼鏈接：https://gitee.com/ascend/samples/tree/master/python/level2_simple_inference/2_object_detection/YOLOV4_coco_detection_car_video

YOLOv4原論文：https://arxiv.org/abs/2004.10934

YOLO原論文：https://arxiv.org/pdf/1506.02640.pdf

YOLOv4模型實現：https://github.com/AlexeyAB/darknet

相機參數查找方法：https://www.bilibili.com/video/BV1Fq4y1H7sx/

 

點擊關注，第一時間了解華為雲新鮮技術~