1

1.1從AI到EAI

AI即人工智能，賦予機器可以模仿人類利用知識完成某些行為。

嵌入式設備種類繁多，在生活中到處可見，例如手機、家電、電動車、電梯。生活中存在的海量嵌入式設備，是EAI發展的現實基礎，而人工智能技術在近幾年的突飛猛進，為EAI的發展提供了技術保障。

EAI即Embedded AI嵌入式人工智能，早在2018年9月中國（上海）國際嵌入式大會期間，何積豐院士指出，人工智能有向嵌入式系統遷移的趨勢，嵌入式人工智能是一個嶄新的重要機遇，同時指出，邊緣計算、機器學習、AI芯片是嵌入式人工智能的三項前沿技術【1】。蘇州大學王宜懷老師認為，嵌入式人工智能是以一般意義上的人工智能算法為基礎，以嵌入式應用實踐為目標，將人工智能訓練和推理算法構件駐留於嵌入式計算機內部，實現嵌入式終端智能化，它是伴隨着機器學習理論與算法的發展、嵌入式芯片性能的提高、嵌入式智能終端的市場需求而提出的，是人工智能產業化落地的主要形式【2】。

1.2嵌入式芯片的發展

我國首款嵌入式人工智能視覺芯片是在2017年12月20日由地平線機器人技術團隊發布的面向智能駕駛的“征程1.0”處理器和面向智能攝像頭的“旭日1.0”處理器，該芯片完全由中國企業自主研發，具有高性能、低功耗、低延時等特點，可直接嵌入至終端設備。

“征程1.0”處理器具備同時對行人、機動車、非機動車、交通指示牌等多類目標進行精准實時檢測與識別的處理能力。基於該芯片研發的智能駕駛平台支持260種交通標志牌的檢測, 對紅綠燈、當前車道和相鄰車道可行駛區域的識別准確率大於95%。

“旭日1.0”處理器具備在前端實現大規模人臉識別檢測跟蹤、視頻結構化的處理能力, 能應用於智能城市、智能商業等場景。結合該芯片形成的人臉抓拍識別系統單幀最高能抓拍120個人臉, 功耗僅為1.5瓦。

2018到2019年是嵌入式人工智能發展非常有歷史性的兩年，這兩年期間各大廠商做出了端側神經網絡超級計算芯片，並將功耗控制在了電池可使用的范圍內。例如intel推出的Movidius神經網絡計算棒，Nvidia推出的Jetson-Nano、瑞芯微推出的3399Pro等等，使得原先不可能實現的嵌入式人工智能項目可以成功落地。由此可見，人工智能芯片的發展極大地推動了嵌入式人工智能項目的發展。而嵌入式芯片之所以突飛猛進，是因為舍棄了通用指令集，因為通用指令集的功耗和性能，並不能體現出嵌入式的優勢，所以各大廠商使用了自己的指令集，因為各大廠商指令集的不通用性，大大提高了嵌入式開發的復雜性，而使用通用指令集，則可單純依靠高級編程語言，編碼再編譯后即可使用。

2

2.1案例一

2015年成立的深圳地平線機器人科技有限公司，為嵌入式人工智能平台發布了許多人工智能專用處理器Brain Processing Unit（BPU），以及智能駕駛處理器。曾在2018年發布過嵌入式人工智能抓拍識別攝像機，搭載的就是他們自研的嵌入式人工智能視覺芯片，將使用人工智能技術處理人臉識別問題，從舊式的上傳照片到服務器再進行處理的雲端處理方式，改進為了在攝像機本地提取人臉數據特征，只將人臉特征數據傳送到服務器即可。我在工作時曾使用過這個攝像機，主要用於智能安防方向。綜上所示，這樣做的好處包括：實時性高、無用數據傳輸量減少、對網絡依賴性小和使用專用嵌入式人工智能處理器，性能更強【3】。

2.2案例二

當前智能手機都有語音助手，例如蘋果手機的Siri，華為的小藝，小米的小愛，微軟的小娜，但這些語音助手都只能聯網使用,在斷網狀態下功能相當不完善，可知這些語音助手都是在雲端進行數據處理的，如果可以將語音助手程序本地化部署在嵌入式設備中，則在斷網狀態下也可正常使用。此案例可總結出，在嵌入式設備中本地化部署人工智能程序，可有效提高系統的可靠性，減少流量消耗，有效的保護用戶隱私數據。

2.3案例三

京東配送機器人是由京東研發，進行快遞包裹配送的人工智能機器人。它擁有基於認知的智能決策規划技術，遇到障礙物時，在判斷障礙物的同時判斷出行人位置，並判斷出障礙物與行人運動方向與速度，通過不斷深度學習與運算，做出智能行為的決策。除此之外，京東無人倉的日處理訂單能力相當於人工倉庫效率的5倍。

毫無疑問，未來會有很多崗位被機器人取代，而實現這種機器人的技術就是在嵌入式平台上的人工智能應用。

3

3.1國內近期討論

GTIC 2021嵌入式AI創新峰會於5月25日在北京舉辦，此處介紹會議上的一些觀點。

大華股份先進技術研究院科學家朱樹磊做《嵌入式AI算法模型微服務的設計與實踐》演講。微服務架構在服務端開發中已十分普遍，它把功能模塊拆分出來，運行在不同的進程或不同的服務器上，相比於單體架構，微服務提高了開發效率、降低了開發難度、維護成本和開發時間，可擴展性強。他認為，在當前行業AI智能需求快速增長的背景下，嵌入式算法產品架構設計和開發流程亟須變革，嵌入式平台模型微服務化能夠降低嵌入式開發的門檻。但是相比於雲原生微服務，嵌入式微服務在功耗、算力、內存等資源方面受限，無法復用成熟的雲原生生態，需要自己打造。他認為，打造模型、接口、代碼三大編譯器是嵌入式平台模型微服務化的關鍵。

知存科技CEO王紹迪談到，當前已進入后摩爾時代，尤其當芯片進入7nm和5nm階段后，研發速度放緩，芯片研發成本急劇增高，每一次迭代單個芯片成本增加1倍。但嵌入式設備對先進工藝芯片的需求並不強烈，反而更青睞於低成本、低功耗、易開發的芯片。目前的芯片都是采用馮諾依曼架構，早期的馮諾依曼計算機結構是以運算器為中心，后期的馮諾依曼計算機結構以存儲器為中心，而存儲器的速度與芯片速度嚴重不匹配，導致計算機整體計算速度慢。為了解決存儲器瓶頸問題，出現了許多不同的方案，包括3D Xpoint、近內存計算、近存儲計算和存內計算。王紹迪認為存算一體是最高效率的AI計算【4】。存算一體芯片技術，旨在把傳統以計算為中心的架構轉變為以數據為中心的架構，其直接利用存儲器進行數據處理，從而把數據存儲與計算融合在同一個芯片當中，可以徹底消除馮諾依曼計算架構瓶頸，特別適用於深度學習神經網絡這種大數據量大規模並行的應用場景。

4

4.1 EAI論文閱讀總結

以下是我在知網上查找到的論文，論文內容多為人工智能算法在嵌入式平台的實現。做了一個表對論文簡單進行統計，關注重點為神經網絡模型和嵌入式設備。

論文	神經網絡模型	嵌入式設備
基於CNN的汽車安全駕駛輔助系統的設計與實現_陶文	LeNet-5 Caffe	樹莓派、 Intel Movidius神經計算棒
基於NB_IoT的垃圾回收智能管理系統研究與實現_戚逸然	LeNet-5	基於STM32微控制器的開發板，阿里雲服務器
基於機器學習的人臉表情識別與分析系統_孫雨琛	MTCNN Multi-task convolutional neural network(多任務卷積神經網絡)	NVIDIA Jetson TX2，一台7.5瓦的單模組超級計算機，可為終端提供AI計算功能
基於卷積神經網絡的手勢識別算法優化及嵌入式實現_張玉婷	CNN（卷積神經網絡）	Xilinx ZC706開發板
基於人工智能的罐車裝料口視覺跟蹤系統研究_朱佩	SSD Single Shot MultiBox Detector	以Contex-A7為處理器的開發板
基於人工智能的水稻病害檢測系統研究_牛旭	CNN TensorFlow	ARM 開發板
基於人臉屬性識別的嵌入式電影推薦系統_許銳	寬殘差神經網絡 Keras、TensorFlow	RK3399開發板
基於深度學習的視覺目標跟蹤系統設計與實現_張明喆	GOTURN 基於深度學習的物體追蹤	NVIDIA Jetson TX1
嵌入式人工智能與物聯網實驗開發板教學應用_楊煥崢		意法半導體公司的STM32系列
輕量級卷積神經網絡的嵌入式人臉檢測與識別系統設計與實現_郭嘉	MTCNN	NVIDIA Jetson TX2 樹莓派

通過對以上論文的閱讀，可以發現在以上的嵌入式人工智能應用系統中，嵌入式設備都是性能強大、功能完善的開發板，使用這些開發板可以簡化底層的工作，在將代碼從不同平台移植的時候，可以更加方便，但成本也會上升。

以上論文中大部分嵌入式平台都搭載了Linux操作系統，目前常用的嵌入式操作系統除了Linux還有Android等。但是與PC開發不同，嵌入式的開發環境更加復雜，為了實現更低的功耗和專一的功能，嵌入式芯片廠商往往會加入專有的IP核、DSP、ASIC等來實現特定的運算加速，嵌入式專用芯片的效率遠遠高於PC，而成本和功耗又低於PC的CPU。開發嵌入式人工智能項目，往往都是在PC上開發完成，再移植到嵌入式平台，需要多注意嵌入式平台芯片的指令集與通用指令集的異同。

以上論文的共性為，都是做的計算機視覺。對論文的內容進行概括，可以知道要成為一名EAI開發工程師所需要的技術棧，包括嵌入式Linux開發、STM32開發、人工智能等。