邊緣計算——Edge Intelligence：The Confluence of Edge Computing and Artificial Intelligence

Edge Intelligence：The Confluence of Edge Computing and Artificial Intelligence

Abstract

隨着人工智能和硬件架構的發展，在網絡邊緣產生了數十億字節的數據，這對數據處理和結構優化提出了巨大的要求。因此將邊緣計算與人工智能相結合的需求很大，這就產生了邊緣智能(edge intelligence).在本文中將邊緣智能分成了兩個部分——AI on edge(intelligence—enabled edge computing)和AI for edge(artificial intelligence on edge)。前者側重於借助流行、有效的人工智能技術，為邊緣計算中的關鍵問題提供更優的解決方案，而后者則研究如何在邊緣上進行人工智能模型構建的整個過程，即模型訓練和推理。

Introduction

隨着物聯網的擴散，更多的數據由分布廣泛、地理上分布的移動和物聯網設備創建，可能比大型雲數據中心生成的數據還要多。將如此龐大的數據從邊緣轉移到雲是很難處理的，因為這會導致過度的網絡擁塞。因此，更適用的方式是直接在邊緣雲服務器上處理用戶需求，這導致了邊緣計算的誕生。一般來說，邊緣計算提供特定的移動服務，這些服務需要超低延遲、高帶寬和實時訪問無線網絡信息。邊緣計算的原理是將計算和通信資源從雲推送到網絡邊緣，提供服務和計算，便面不必要的通信延遲，為最終用戶提供更快的響應。

考慮到人工智能對於快速分析海量數據和提取信息功能上的必要性，將邊緣計算與人工智能相結合的需求很大，這就產生了邊緣智能。

• AI for edge：具體是利用有效的人工智能技術為邊緣計算中的約束優化問題提供更好的解決方案的研究方向，人工智能被用來賦予更多的智能和最優化，因此可以被理解為：intelligence-enabled edge computing(IEC)

• AI on edge：研究如何在邊緣運行AI模型，它是基於設備-邊緣-雲協同的人工智能模型的運行訓練和推理框架，皆在從海量、分布式的邊緣數據中提取insight，同時滿足算法性能、成本、隱私、可靠性、效率等方面的要求。因此被稱為AI on edge(AIE)

Relation between edge computing and AI

人工智能為邊緣計算提供技術和方法：邊緣計算是一種分布式計算范式，通過構建軟件定義的網絡來分散數據，提供具有魯棒性和彈性的服務。人工智能技術能夠處理這一任務，從本質上講，人工智能模型從真實場景中提取無約束優化問題，然后用SGD方法迭代地尋找漸進最優解，無論是統計學習方法還是深度學習方法都可以為邊緣提供幫助和建議。

邊緣計算為人工智能提供了場景和平台：除了大型雲數據中心之外，更多的數據是由分布廣泛、地理上分布的移動和物聯網設備創建的。可以說，邊緣計算為人工智能提供了一個功能豐富的異構平台。邊緣硬件的升級也為人工智能注入了活力。

Research roadmap od edge intelligence

Quality of Experience

• 性能：ICE和AIE對性能的要求是不同的。對於前者，績效指標依賴於問題。例如，在計算卸載問題時，性能可以是成功卸載的比率，當涉及到服務布局問題時，可能時服務提供商需要最大化利益和最小化基站的租用成本。對於后者，性能主要包括訓練損失和推理准確性。

• 成本：成本通常包括計算成本、通信成本和能耗。計算成本反映的時對計算資源的需求；通信成本反映的是對通信資源的請求；

• 隱私：隱私保護導致了聯邦學習的誕生，它從分布式設備聚合本地機器學習模型，同時放置數據泄露。

• 效率：對效率的追求是改進現有算法和模型的關鍵因素，特別是對於處於邊緣的人工智能而言。為了提高深度人工智能模型的訓練和推理效率，提出了模型壓縮、條件計算、算法異步化等方法。

• 可靠性：系統可靠性確保邊緣計算在任何規定的運行時間都不會失敗。

Recapitulation of IEC

• topology：關注邊緣站點(OES)和無線網絡的編排。在本文中，將邊緣站點定義為微數據中心，該微數據中心部署了應用程序，並附加到小單元BS。

  • OES研究無線電信設備和服務器的部署和安裝。近年來，無人機(uav)的管理和自動化的研究變得非常流行。具有小服務器和接入點的無人機可視為機動性強的移動邊緣服務器。因此許多工作都在探索無人機能量消耗最小化的調度和軌跡規划問題。

  • WN研究數據采集和網絡規划。前者專注於快速獲取訂閱邊緣設備上豐富但高度分布式的數據，而后者專注於網絡調度、操作和管理。快讀數據采集包括多路接入、無線電資源分配和信號編解碼。網絡規划研究協議和中間件的有效管理。

  • 近年來，智能網絡的發展趨勢越來越明顯，這涉及到利用當前流行的人工智能技術構建只能無線通信機制。

• content：將重點放在數據配置、服務配置(service provisioning)、服務布局(service placement)和服務緩存。

  • 對於數據和業務發訪，可用資源可由遠程運輸局中心和邊緣服務器提供，近年來，人們發現如果采用適當的激勵機制，共享的資源也可以來自移動設備。

  • 服務布局是對服務配置的重要補充,服務配置服務配置研究再何處以及如何在可能的邊緣站點上部署復雜服務。

  • 服務組合研究如何根據移動端用戶的能耗和QoE來選擇候選服務進行組合。它開辟了研究機會，可以利用人工智能技術來產生更好的服務選擇方案。

  • 服務緩存也可以看作是服務供應的補充，研究了如何設計一個緩存池來存儲頻繁訪問的數據和服務。服務緩存也可以以合作的方式進行研究。

• serice：關注於計算卸載、用戶配置文件遷移和移動性管理。

  • 計算卸載研究通過邊緣服務器選擇和頻譜分配的方式對各種計算資源和通信資源進行負載均衡。更多的研究工作集中在利用Lyapunov優化技術。

    • 近年來，通過DQN優化計算卸載決策的研究非常流行。它將計算卸載問題建模微MDP，並使長期效用性能最大化。該實用程序可以由QoE指標組成，並根據迭代貝爾曼方程發展。在此基礎上，給出了基於DQN的卸載決策的漸進最優計算方法。

  • 用戶配置文件遷移研究如何在移動用戶不斷移動時調整用戶配置文件的位置。用戶配置文件遷移通常與移動性管理相關。

Recapitulation of AIE

• Framework Design：框架設計旨在不修改現有AI模型的情況下，為邊緣提供更好的訓練和推理體系結構。研究者視圖為模型訓練和模型推理設計新的框架。

  • Model Training：對於模型培訓，除了基於知識提煉的框架外，所有提出的框架都是分布式的。分布式訓練框架可分維主設備拆分、輔助設備拆分和設備-設備拆分。區別在於訓練樣本來自哪里，以及全局模型時如何組裝和聚合的。

    • 模型拆分將神經網絡的各個層分離開來，並將它們部署在不同的設備上，它高度依賴復雜的管道。

    • 基於知識蒸餾的框架可能不是中心化的，他們依賴於遷移學習技術。知識蒸餾可以提高淺層學生網絡的准確性。

      • 它首先在一個基本數據集上訓練一個基本網絡。

      • 之后，學習到的特征可以轉移到學生網絡，分別再他們的數據集上進行訓練。

      • 基礎網絡可以再雲或邊緣服務器上進行訓練，而學生網絡則可以分別通過大量擁有私人數據的移動端設備進行訓練。

      • 我們認為，在基於知識蒸餾的框架中，有很大的途徑可以探索模型訓練的邊緣。

    • 模型培訓中最受歡迎的工作是聯合學習。為了在分布式訓練dnn時保護隱私，提出了聯合學習。聯邦學習無需將用戶私有數據聚合到一個中央數據中心，而是在多個客戶機上訓練一系列本地模型。然后，通過平均每個客戶端的訓練梯度來優化全局模型。

  • model inference：模型拆分/划分可以看作是模型推理的一個框架。其它方法，例如模型壓縮、輸入過濾、提早退出等等，可以看作是對現有框架的調整。

• Model Adaptation：模型自適應在現有的訓練和推理框架(通常是聯合學習)的基礎上進行適當的改進，使其更適用於邊緣。

• Processor Acceleration：處理器加速的重點是優化dnn的結構，可以改善頻繁使用的計算密集型乘累加操作。硬件上加速dnn計算的方法包括：

  1. 設計專門用於DNN訓練和推理的指令集

  2. 設計高並行計算范式

  3. 將計算移向內存(接近數據處理)

AI for Edge

在上一節我們只是給出了而已個分類和可能的研究方向，但沒有深入分析如何將人工智能技術應用到邊緣，產生更優的解決方案。

上圖給出了對於AI技術如何在移動邊緣計算(MEC)環境中使用例子。

• 首先，我們需要確定要研究的問題。以性能優化為例，需要確定優化目標、決策變量和潛在約束條件。需要優化的目標可以是任務執行延遲、傳輸延遲和任務丟棄成本的組合。

• 然后，建立數學模型。如果考慮系統的長期穩定性，則可以使用李雅普諾夫優化技術來形式化問題。

• 最后，我們應該設計一個算法來解決這個問題。

事實上，模型的構建不僅取決於所要研究的問題，也取決於索要應用的優化算法。以DQN為例，我們必須將問題建模為具有有限狀態和行動的MDP。因此，在長期優化問題中不存在約束條件。

最常見的方法是將這些約束轉化為懲罰，並將懲罰添加到優化目標中。

SOTA

• Wireless Networking：

  • Towards an intelligent edge: Wireless communication meets machine learning將協同應用人工智能，以完全在線的方式實現智能網絡優化。這篇文章提出一套新的設計原則，用於嵌入機器學習技術和模型的無線通信，統稱為學習驅動通信。它可以跨越數據采集的整個過程，一次是多路訪問、無線電資源管理和信號編碼。

  • 學習驅動的多址接入提出利用無線通信的獨特特性進行函數計算。首先提出了聯邦學習中同時傳輸的模型更新應該利用多址信道的波形疊加特性進行模擬聚合。之后探索聯邦學習中模型聚合的空中計算。最后將原理付諸實踐，將器件選擇和波束形成設計建模為一個稀疏和低秩優化問題。

  • 學習驅動的無線電資源管理提出無線電資源應根據傳輸數據的價值進行分配，而不僅僅是頻譜利用的效率。因此，它可以理解為重要感知資源分配，一種明顯的方法是重要感知重傳。Wireless federated distillation for distributed edge learning with heterogeneous data，這篇文章提出了一種重傳協議，命名為重要性感知自動重傳(重要性ARQ)。重要性ARQ在期望的學習精度下權衡信噪比和數據不確定性。該算法能在避免信道噪聲導致學習性能下降的同時實現快速收斂。

  • 學習驅動的信號編碼規定了信號編嘛的設計應聯合優化特征提取、源編碼和信道編碼。

  • 除了學習驅動的通信，一些工作從能源消耗和無線電資源效率的角度對WN的AI 做出了貢獻。Deep reinforcement learning based mode selection and resource allocation for cellular V2X communications提出了一種基於drl的去中心化算法，Reinforcement learning-based microgrid energy trading with a reduced power plant schedule設計了一種基於drl的能源交易算法。A graph neural network approach for scalable wireless power control利用圖神經網絡(GNNs)開發了可擴展的k-用戶干擾信道功率控制方法。

• service Placement and Caching：許多研究者從asp的角度研究服務布局。他們將數據和服務布局問題建模為MDP，並利用諸如強化學習等人工智能方法來實現最優布局決策。

  • 服務緩存可以看作是對服務布局的補充。邊緣服務器可以配置特殊的服務緩存，以滿足用戶對熱門內容的需求，為了使邊緣服務器具有學習能力，提出了一系列關於服務緩存的優化問題。

• Computing Offloading：計算卸載可以被認為使人工智能邊緣最活躍的話題。它研究資源密集型計算任務從資源有限的移動設備轉移到邊緣與雲。這個過程涉及到許多資源的分配，從CPU周期到通道帶寬。因此，具有較強優化能力的人工子還能技術近年來得到了廣泛應用。

Grand Challenges

• Model Establishment：如果我們要使用人工智能方法，數學模型必須是有限的，公式優化問題需要是有限的。這一方面是因為如果原始搜索空間受到限制，人工智能技術、SGD和minibatch gradient descent方法的優化基礎可能無法很好地工作。另一方面，特別是對於MDPs，狀態集和動作集是無限地，在進一步處理之前需要進行離散化，以避免維數災難。一般解決方法是將約束轉化為懲罰，並將其納入全局優化目標。這種現狀極大地制約了數學模型地建立，導致性能下降，可以被看作是利用人工智能方法的一種妥協。

• Algorithm Deployment:最先進的工作往往形成一個組合和NP-hard優化問題，具有相當高的計算復雜性。用凸優化方法求得近似最優解的工程很少。實際上，對於邊緣的人工智能來說，解決方案主要來自基於迭代學習的方法。另一個被忽略的問題是，由哪個邊緣設備來部署和運行所提出的復雜算法。

• Balance Between Optimality and Effciency：盡管人工智能技術確實可以提供最優的解決方案，但在資源受限的邊緣，優化和效率之間的權衡是不可忽視的。

AI on edge

在之前的節數中，我們將AI on edge的研究工作分為模型自適應、框架設計和處理器加速。目前為止。與基於雲的預測相比，處於邊緣的人工智能模型非常有限。如何在資源匱乏的設備上進行模型訓練和推理是一個非常重要的問題。因此，與設計新的框架相比，邊緣計算的研究者更感興趣的是改進吸納有框架，使其更適合於邊緣，通常減少資源占用。

SOTA

• Model Compression：如上圖所示，模型壓縮的方法包括量化、降維、剪枝、組件共享、精度降級等。它們利用梯度和權值的固有稀疏性結構，盡可能地減少內存和信道占用。還有一點需要明確的是，模型壓縮既適用於模型訓練，也適用於模型推理，並不用可以區分它們。

  • 當我們將聯邦學習移動到邊緣時，最大限度地減少通信輪數時主要目標，因為如果一個或多個本地設備離線或網絡堵塞，更細膩全局模型可能無法實現。因此，很多工作都從某個不同地角度關注如何降低聯邦學習的通信開銷。在不降低推理精度的前提下對訓練模型進行壓縮式實現折以目標的最佳途徑之一。

    • Federated learning: Strategies for improving communication efficiency中，為了降低上行通信成本，提出了結構化更新和草圖更新。對於結構化更新，從受限的低維空間學習局部更新；對於草圖更新，上傳模型在發送到奧中央服務器之前被壓縮。

    • Practical secure aggregation for federated learning on user-held data設計了一種高效通信的高維數據安全聚合協議。

    • Strategies for re-training a pruned neural network in an edge computing paradigm研究表明，dnn通常被過度參數化，它們的權重有顯著的冗余。同時，剪枝彌補了性能上的損失。因此，這篇文章提出了一種修剪后再培訓的方案。它對新數據重新訓練DNN，而修建后的權值保持不變。該方案再保證學習准確性的同時，可以減少對資源的占用。

    • Memory-driven mixed low precision quantization for enabling deep network inference on microcontrollers的工作利用了混合低位寬壓縮，在給定的內存約束條件下確定每個激活的最小位精度和權值。

  • 一些研究也探討了基於分區dnn的模型壓縮。

    • Autotuning neural network quantization framework for collaborative inference between the cloud and edge提出了一種用於邊緣與雲之間協作推理的自動調整神經網絡量化框架。首先對DNN進行分區。第一部分在邊緣設備上量化執行，第二部分在雲上全精度執行。

    • SCAN: A scalable neural networks framework towards compact and efficient models提出了一個加速和壓縮模型訓練和推理的框架。它根據dnn的深度將其划分為多個段，並根據不同段的中間特征構造分類器。

  • 除了聯邦學習，還有研究統計學習模型或其它流行的深度模型的執行的工作，如ResNet和VGG架構在資源有限的終端設備上。

  • 模型壓縮由於易於實現，是目前人工智能邊緣領域非常活躍的一個方向。然而，最先進的工作通常不綁定到邊緣計算系統的特定應用場景。

• Coditional Computation：條件計算的方法包括組件共享、組件關閉、輸入過濾、提前退出、結果緩存等。簡單地說，條件計算式選擇性地關閉一些不重要的計算。因此，可以將其視為閉塞性退出。大量的工作致力於排序和選擇最有價值的部分進行計算或在達到置信閾值時提取停止。

• Algorithm Asynchronization：算法異步嘗試以異步方式聚合本地模型以進行聯合學習。由於無線網絡擁塞，參與的本地用戶很有可能無法完成模型的上傳和下載。除了模型壓縮之外，另一種方法時對等交換權值和梯度，以降低無線信道上的高並發性。

• Thorough Decentralization：徹底的去中心化嘗試刪除中央聚合器，以避免任何可能的泄露。雖然聯邦學習不需要消費者的私有數據，但是模型更新仍然包含私有信息，因為仍然需要協調訓練的服務器的一些信任。為了避免隱私邪路，區塊鏈技術和游戲理論方法可以幫助完全去中心化。

  • 利用區塊鏈，特別是智能合約，用於模型聚合的中央服務器就不再需要了。因此，可以便面模型聚合引發的崩潰。此外，還可以保護用戶的隱私。

Grand Challenges

• Data Availability：最嚴峻的挑戰在於原始訓練數據的可獲取性和可利用性，因為可用數據是一切的開始。首先，適當的激勵機制可能是移動用戶提供數據的必要條件。否則，原始數據可能無法用於模型訓練和推斷。此外，來自各個終端設備的原始數據可能會有明顯的偏差，這將極大地影響學習性能。

• Model Selection：首先，如何選擇適合人工智能模型學習精度和規模地閾值，以便快速部署和交付。第二，如何在有限的資源下選擇探索性培訓框架和處理器架構。模型選擇與資源配置和管理耦合，問題復雜而富有挑戰性。

• Coordination Mechanism：由於異構邊緣設備之間的計算能力和通信資源存在巨大差異，所提出的模型適配方法可能無法普遍適用。這可能會導致相同的方法在不同的移動設備集群中獲得不同的學習結果。