帶內網絡遙測技術小結

 

本文鏈接：https://www.sdnlab.com/23822.html

1 背景

隨着業務應用的推陳出新和用戶規模的不斷增長，網絡呈現出“高速率、大規模、多接入、不可預期”的特點。傳統網絡管控方式和手段已經難以解決現有網絡和未來網絡的挑戰。

因此，網絡管理者迫切需要顛覆傳統網絡監測及故障排除方法，提出能夠應對網絡狀態測量、網絡失效檢測、故障定位與恢復等場景用例的實時靈活的測量解決方案。

P4開創了數據平面可編程的新時代，這為網絡管控提供了從數據平面直接獲取狀態信息的嶄新途徑。數據平面可編程技術的平台無關、協議無關和可重構性使網絡管理者可以重塑網絡測量及網絡管控流程。

2 傳統網絡測量

網絡測量是網絡管控的基礎手段和數據來源。按照測量方式的不同，傳統意義上的網絡測量（Network Measurement）可以分為主動測量（Active Measurement）、被動測量（Passive Measurement）和混合測量（Hybrid Measurement）。

主動測量通過向網絡中主動發送探測分組，並根據探測分組受網絡影響而發生的特性變化來分析網絡行為。被測量的網絡性能指標通常是丟包率、延遲、抖動、TTL和帶寬等。常見的主動測量協議包括PING、Traceroute、IP測量協議（IP Measurement Protocol，IPMP）、單向主動測量協議（One-Way Active Measurement Protocol，OWAMP）、雙向主動測量協議（Two-Way Active Measurement Protocol，TWAMP）、MPLS丟包/延遲測量協議（MPLS L/DM Protocol）等。

主動測量的優點是使用靈活，缺點是給網絡增加額外帶寬/處理開銷，往往會引起海森堡效應（Heisenberg effect），即觀察者的介入干擾測量結果。

被動測量通過捕獲流經測量點的分組來測量網絡狀態、流量特征和性能參數。被動測量使用控制平面消息即可監測網絡流量狀態性能，被監測的性能指標通常是包/字節統計值、協議類型、隊列長度和延遲統計信息。常見的被動測量協議有網絡數據流統計協議（Cisco Netflow）、sFlow、IP流量信息輸出協議（IPFIX）、數據包采樣協議（PSAMP）。

被動測量不會產生額外的測量負載，因此不會影響網絡本身特性。但被動測量往往只能監測交換節點本地狀態信息，而不能監測網絡狀態和丟包率等全局狀態信息。

混合測量通過靈活組合主/被動測量方法，或結合主/被動測量優點重新設計測量機制的方式，對網絡進行協同測量。典型代表有反應式測量（Reactive Measurement）、帶內測量（In-band Measurement）和交替標記性能測量（Alternate Marking-Performance Measurement，AM-PM）。

表1 網絡測量方案及其分類

分類	常見協議或方案
主動測量	PING、Traceroute、Iperf、IPMP、OWAMP、TWAMP、MPLS L/DM、Pingmesh等
被動測量	Netflow、sFlow、IPFIX、PSAMP等
混合測量	Reactive Measurement、In-band Measurement、AM-PM、Postcard Based Telemetry、In-band Flow Analyzer、Hybrid Two Steps等

帶內測量是近幾年興起的一種混合測量方法，通過路徑中間交換節點對數據包依次插入元數據（Measure metadata）的方式完成網絡狀態采集。相較於傳統網絡測量方案，帶內測量能夠對網絡拓撲、網絡性能和網絡流量實現更細粒度的測量。目前，帶內測量的研究方向主要為IETF IPPM工作組^[1]和OPSA工作組主導的帶內OAM（In-situ Operation Administration and Maintenance，IOAM)和P4聯盟主導的帶內網絡遙測（In-band Network Telemetry，INT)。

3 帶內網絡遙測

帶內網絡遙測由Barefoot、Arista、Dell、Intel和VMware於2015年共同提出^[2]，是一種不需要網絡控制平面干預，網絡數據平面收集和報告網絡狀態的框架。在帶內網絡遙測架構中，交換設備轉發處理攜帶遙測指令（Telemetry instructions）的數據包。當遙測數據包經過該設備時，這些遙測指令告訴具備網絡遙測功能的網絡設備應該收集並寫入何種網絡狀態信息。

如圖2所示，帶內網絡遙測系統由遙測服務器和具備帶內網絡遙測功能的交換機組成。根據實際遙測任務的需要，該系統還可能需要時間同步服務器等設備完成輔助工作。

帶內網絡遙測的數據包處理流程如下：

1. 普通數據報文到達帶內網絡遙測系統的第一個交換節點時，帶內網絡遙測模塊通過 在交換機上設置的采樣方式匹配並鏡像出該報文，根據遙測任務的需要在四層頭部后插入INT頭部，將INT頭部所指定的遙測信息封裝成元數據（MetaData，MD）插入到INT頭部之后；
2. 報文轉發到中間節點時，設備匹配INT頭部后插入MD；
3. 報文轉發到帶內網絡遙測系統最后一跳時，交換設備匹配INT頭部插入最后一個MD並提取全部遙測信息並通過gRPC等方式轉發到遙測服務器。
4. 遙測服務器解析遙測報文內的遙測信息，上報給上層遙測應用程序。

既有方案一：P4-based INT

基於P4實現的帶內網絡遙測（P4-based INT）是最早的帶內網絡遙測實現方案^[3]。P4-based INT包括兩種實體：INT traffic sources和INT traffic sinks。INT traffic sources負責將遙測指令嵌入到正常數據包或遙測數據包中。INT traffic sinks對遙測結果進行提取和上報。INT traffic sources和INT traffic sinks可以是應用、終端網絡協議棧、網管程序、NIC、發送側/接收側ToR交換機等。

表2 帶內網絡遙測系統術語及其說明

術語	說明
INT Header	INT信息頭部
INT packet	攜帶INT頭部的數據包
INT Instruction	嵌入數據包的遙測指令，用於指示中間節點收集何種INT Metadata
INT Source	可以向數據包中創建並插入INT Header的網絡可信實體
INT Sink	可以從數據包中提取、收集並刪除INT Header的網絡可信實體
INT Transit Hop	具備INT功能的網絡中間設備，能夠向INT數據包中添加INT Metadata
INT Metadata	需收集的網絡狀態信息

隨着逐跳增加INT元數據，遙測數據包大小逐漸增加，這可能導致數據包大小超過鏈路MTU值。P4-based INT給出了兩種解決方案：（1）根據INT跳數及逐跳元數據長度適當增大鏈路MTU配置值；（2）根據三層路徑MTU發現機制確定逐跳鏈路MTU，中間節點根據遙測數據包長度選擇是否插入遙測數據。

既有方案二：INT in 6TiSCH

Abdulkadir Karaagac等人將帶內網絡遙測從有線網絡拓展到無線網絡場景中^[4]，針對工業無線傳感器網絡提出了一種帶內網絡遙測方案INT in 6TiSCH。該方案以最小化資源消耗和通信開銷作為設計目標，能夠處理6TiSCH網絡功能異常監測、擁塞控制、集中路由和調度管理等場景和用例。

INT in 6TiSCH在IEEE 802.15.4 MAC幀中Information Elements（IEs）字段插入遙測數據。遙測報文由三部分組成：IEs Subtype ID、INT Header及INT Content。

其中，INT Header由三部分組成：INT Control header（8 bits）、Sequence Number（8 bits）及Bitmap（8 bits）。INT Control header用於定義遙測模式及遙測功能。Sequence Number用於區分來自同一節點的不同INT遙測數據。Bitmap中每個bit位代表一種預定義的遙測數據。

值得注意的是，INT Control header中的HBH Mode（2 bits）定義了三種遙測模式，當Mode=00時，中間節點全部遙測；當Mode=10時，中間節點將隨機添加遙測數據；當Mode=01時，中間節點根據上一次添加遙測數據的時間、轉發幀長度及剩余跳數計算概率值，並依據概率值進行遙測數據添加。HBH Mode在一定程度上能夠降低帶內網絡遙測的帶寬開銷。

Bitmap Mode定義了兩種位圖模式：內容位圖（Content Bitmap）和節點位圖（Node Bitmap）。內容位圖模式下，中間節點將依據Bitmap字段的遙測組合進行遙測數據的添加。節點位圖模式下，中間節點允許自行添加位圖及INT數據。

INT in 6TiSCH定義的遙測數據模型包括：Node ID（2 Byte）、Receive Channel & Timestamp（2 Byte）、Utilization indicator（1 Byte）、RSSI（1 Byte）及其他保留信息類型。

既有方案三：NetVision

Zhengzheng Liu等人提出了網絡遙測即服務的概念^[5]，並設計了帶內網絡遙測平台NetVision。NetVision主動發送與網絡狀態和遙測任務相匹配的適當數量和格式的探針數據包，降低了遙測開銷，提高了網絡遙測的覆蓋性和可擴展性。在路徑規划方面，NetVision采用段路由進行簡單靈活的路由控制，通過更改SR標簽的方式定制探測路徑。

為了降低網絡管理員部署帶內網絡遙測的難度，NetVision設計了一套包括遙測元數據和查詢原語在內的遙測原語，並封裝為遙測服務API，可以對外提供端到端延遲測量、實時包傳輸速率計算、鏈路/節點包黑洞發現等功能。

NetVision探針為“SR+INT”雙棧結構，SR Stack包括SR列表長度和輸出端口標簽，INT Stack包括標簽列表長度和遙測標簽列表。路由器通過彈出SR標簽並放入INT標簽完成一次遙測轉發。

既有方案四：INTCollector

INTCollector是一種針對帶內網絡遙測計算及數據存儲開銷大的問題而設計的從帶內網絡遙測原始數據中提取並過濾重要網絡信息的機制^[6]。INTCollector只過濾諸如新流到達或逐跳延遲劇烈變化等重要網絡事件，並將重要網絡時間存儲在時間序列數據庫中，從而降低CPU使用率和存儲成本。INTCollector為INT信息處理設計了快慢兩條通道，快通道用於處理INT報告數據包，慢通道用於處理重要事件並將其存儲到數據庫中。實驗結果表明，INTCollector機制可以將帶內網絡遙測存儲數據量減少2-3個數量級，並降低遙測服務器負載。

綜上所述，帶內網絡遙測是一種隨路測量方案。因此，帶內網絡遙測存在一些固有的缺點。首先，帶內網絡遙測檢測范圍有限，預先定義的隨路檢測特性使得帶內網絡遙測往往無法及時獲得全網全狀態的網絡視圖。因此帶內網絡遙測只能監測特定路徑上的某些數據包的遙測數據。其次，由於將遙測指令和數據封裝到正常數據包中，正常數據包的有效載荷比降低，遙測開銷較大。最后，遙測指令和數據的構造、封裝、填充和提取等環境增加了交換機處理負擔。

值得注意的是，與帶內網絡遙測相對應的是帶外網絡遙測（Out-band Network Telemetry，ONT）。帶外網絡遙測通過監控設備單獨發送探測報文，收集鏈路狀態信息。探測報文與網絡業務無關，因此測量結果並不准確。帶外網絡遙測與帶內網絡遙測的遙測數據包生成、接收處理流程不同，對網絡本身產生的影響和測量精度也不相同。嚴格來說，帶外網絡遙測應屬於主動遙測的范疇。

傳統網絡測量技術因其靜態、低效、開銷大等缺陷，在網絡狀態監測與管理上存在精度和時效性等性能問題。因此，帶內網絡遙測系統亟需解決以下幾個技術需求：

• 性能

帶內網絡遙測系統應能根據遙測需求，快速生成並下發遙測方案，上報網絡狀態信息。

• 可拓展性

帶內網絡遙測系統應能夠應對未來網絡異質化和高速化挑戰，滿足各類服務的遙測需求。

• 輕量級

有限的網絡資源導致網絡帶內網絡遙測系統必須是輕量級的，以減少資源消耗和通信開銷。

• 魯棒性

網絡遙測系統應該能夠應對網絡節點或鏈路故障，不依賴於特定的遙測服務器或網絡節點進行部署，並且能夠適應網絡狀態頻繁變化。

• 安全性

對用戶數據包的遙測操作可能伴隨着用戶隱私泄露和安全風險問題。因此，帶內網絡遙測需要研究如何通過技術手段減少對用戶數據的影響。

4 帶內網絡遙測應用

帶內網絡遙測技術的應用范圍已經從最初的網絡運維可視化、故障定位拓展到了網絡測量、擁塞控制、路徑決策、流量工程和網絡數據平面驗證等領域。

4.1 網絡測量

為了滿足網絡運行、維護和安全的需要，控制平面需要實時獲取網絡流量狀態。網絡查詢成為日漸興起的研究領域。常見的網絡查詢包括：大小流檢測、異常流量檢測等。帶內網絡遙測可以收集統計的網絡狀態信息如表3所示。

表3 帶內網絡遙測統計信息分類

分類方式	統計信息	可讀/可寫
交換機級狀態信息	交換機編號（Switch ID）	Y/N
	L2/L3層流表計數（L2 or L3 flow table count）	Y/N
	流表版本號（Flow table version）	Y/N
	時間戳（Timestamp）	Y/N
	接收數據包計數（Received packets）	Y/N
	接收字節計數（Received bytes）	Y/N
端口級交換信息	端口號（Port ID）	Y/N
	數據包入端口號（Ingress port ID）	Y/N
	數據包出端口號（Egress port ID）	Y/N
	隊列長度（Bytes enqueued）	Y/N
	鏈路利用率（Link utilization）	Y/N
	接收字節計數（Bytes received）	Y/N
	傳輸字節計數（Bytes transmitted）	Y/N
	丟棄字節計數（Bytes dropped）	Y/N
	接收數據包計數（Packet received count）	Y/N
	傳輸數據包計數（Packet transmitted count）	Y/N
	丟棄數據包計數（Packet dropped count）	Y/N
	接受錯誤計數（Receive error count）	Y/N
	傳輸錯誤計數（Receive error count）	Y/N
	接收溢出錯誤（Receive overrun error count）	Y/N
	接收幀對齊錯誤（Receive frame alignment error count）	Y/N
	接收CRC校驗錯誤（Receive CRC Error count）	Y/N
	數據包入端口時間戳（Ingress timestamp）	Y/N
	數據包出端口時間戳（Egress timestamp）	Y/N
按隊列分類	隊列ID（Queue ID）	Y/N
	隊列長度（Bytes enqueued）	Y/N
	丟棄字節數（Bytes dropped）	Y/N
	接收溢出錯誤計數（Receive overrun error count）	Y/N
按數據包分類	數據包入交換機端口（Packet’s input port）	Y/N
	數據包出交換機端口（Packet’s output port）	Y/Y
	數據包計數（Packet number count）	Y/Y
按流表分類	數據包查找計數（Packet lookup count）	Y/N
	數據包匹配計數（Packet match count）	Y/N
按流分類	流計數（Flow count）	Y/N

現有遙測系統可以實時收集和分析測量數據，但存在兩個普遍問題：（1）僅支持單一遙測任務；（2）處理和存儲開銷隨流量及查詢量增加而增大。

學術界的研究人員也關注到了上面的問題，Arpit Gupta等人針對遙測提供了一個聲明式接口，可以滿足11種遙測任務的查詢需求^[7]。這11種遙測任務包括：TCP新建連接查詢、Slowloris DOS攻擊查詢、Zorro Attacks查詢、SSH暴力破解攻擊查詢、Superspreader、端口掃描查詢、DDoS攻擊查詢、TCP SYN Flood攻擊查詢、TCP Incomplete Flows查詢、DNS Tunneling檢測查詢、DNS反向攻擊查詢。

網絡狀態測量也是帶內網絡遙測在產業應用方面最為典型的場景。Barefoot 推出的Deep Insight是全球首個可以運行在商業級服務器上的提供逐包狀態監測的網絡系統，能夠實時解釋、分析和定位數據包延遲發生的原因和位置^[8]。結合機器學習技術，Barefoot Deep Insight可以在納秒級分辨率上實現對網絡性能的有狀態自動化異常監測。

4.2 微突發檢測

微突發（Microbursts）是指端口在非常短的時間（毫秒級別）內收到非常多的突發數據，以至於瞬時突發速率達到平均速率的數十倍、數百倍，甚至超過端口帶寬的現象。受限於秒級流量監控周期的技術局限性，SNMP協議或網絡性能檢測工具很難采集毫秒級的微突發流量。帶內網絡遙測通過在數據包轉發時刻記錄交換機隊列長度的方式便可以輕松檢測網絡微突發程度。

4.3 故障快照

由於網絡遙測通過端口計數器、數據包采樣和hop-by-hop帶內遙測等方式提取網絡狀態數據，因此會產生大量的遙測數據。由於這類遙測數據缺乏關於異常網絡行為的上下文狀態和可操作信息，網絡管理員不得不采用各類狀態監測工具進行長時間的巨量數據分析，才能找到網絡問題的根本原因。針對這一問題，Mellanox提出故障快照 (What Just Happened，WJH)技術^[10]。

故障快照技術利用Mellanox Spectrum™和Spectrum™-2以太網交換機芯片，以T-比特級別的速率檢測所有端口上的數據包，然后識別異常行為，並將其整合為簡潔、具體且可操作的數據，從而簡化網絡故障排除和快速恢復。

4.4 擁塞控制

網絡源端可以利用帶內網絡遙測提供的豐富的網絡狀態信息進行擁塞避免和控制。

速率控制協議（Rate Control Protocol，RCP）通過調整鏈路容量分配進行擁塞控制。網絡中的每個RCP路由器根據入口鏈路利用率、平均隊列長度、流平均RTT等網絡狀態參數周期性計算每條鏈路上的公平共享速率（Fair-share rate）。

RCP*是在RCP基礎上設計的針對個流狀態統計的擁塞控制方案。RCP*在終端主機上針對每個流部署速率限制器和速率控制器。網絡控制平面為每個流分配AppSpecific_0和AppSpecific_1兩個內存地址存儲公平速率。其中，AppSpecific_0儲存當前公平速率版本號，AppSpecific_1存儲真正的公平速率。每個流的速率控制器周期性通過“收集-計算-更新”三個階段查詢和更新網絡狀態。

在收集階段，速率控制器以毫秒為周期統計逐跳交換機ID、隊列長度、鏈路利用率和鏈路公平共享率（即AppSpecific_0值和AppSpecific_1值）。

在計算階段，發送方速率控制器根據收集信息計算延路每條鏈路的平均隊列長度，然后使用RCP擁塞控制算法計算每條鏈路的公平共享速率 。

在更新階段，每個流的速率控制器異步更新所有鏈路上的公平共享速率。

由於RCP*在每個RTT周期內發送一次公平速率調整遙測數據包，因此RCP*的開銷與TCP相似。值得注意的是，RCP*的CSTORE指令在遙測基礎上增加了向交換機“寫數據”的操作，開辟了一種新的擁塞控制方案。

4.5 路由決策

網絡遙測為路由決策提供了除網絡連接、網絡跳數以外的更多、更詳細的網絡狀態參數，例如鏈路時延、丟包率、網絡擁塞情況和鏈路利用率等。因此，基於這些網絡狀態參數，結合Segement Route等新型路由方式，網絡節點可以制定個性化的性能路由。

4.6 流量工程

在運行多路徑路由協議的數據中心網絡中，終端主機允許根據數據包頭部值選擇路由路徑。以VLAN標簽為例，終端主機通過改變VLAN ID值選擇不同的轉發路徑。

Vimalkumar Jeyakumar等人在設計了一種基於帶內網絡遙測的負載均衡方案^[11]。終端主機在其發出的數據包中插入由路徑VLAN ID、鏈路利用率TX-Utilization、鏈路發送字節數TX-Bytes構成的遙測指令。其中，設置鏈路發送字節數字段的目的是在鏈路利用率沒有更新的情況下評估路徑擁塞程度。

接收方在收到遙測數據包后回傳給發送方。發送方根據遙測字段信息構建“路徑-擁塞程度”的映射表。其中擁塞程度可以用逐跳鏈路利用率最大值或總和表示。發送方根據擁塞程度映射表選擇合適路徑進行轉發。

4.7 網絡智慧化

限制網絡智慧化部署的瓶頸除了算力算法問題，實時數據供給也是一大挑戰。而帶內網絡遙測恰恰能夠為網絡智慧化方案的部署提供源源不斷的實時網絡狀態數據。

5 未來展望

帶內網絡遙測已經得到了學術界和產業界的廣泛關注。學術界更加關注帶內網絡遙測能否給網絡閉環控制帶來新的解決思路，產業界已經有成熟的網絡監管產品問世。帶內網絡遙測技術方興未艾，但也面臨着一些挑戰。

5.1 通用遙測模型

帶內網絡遙測具有數據平面可編程、隨路測量、可重配置等特點。如何利用這些特點破解傳統測量無法被普遍適用的局面，對完善網絡遙測研究具有重要意義。目前學術界和產業界缺乏針對一體化融合網絡互聯互通場景的通用遙測模型的研究。利用可編程數據平面的靈活性和可擴展性針對異構網絡特性設計隨路遙測方案，形成統一網絡狀態視圖成為帶內網絡遙測技術的潛在應用場景。

5.2 性能損失評估

帶內網絡遙測可以插入數據包中的遙測元數據數量受數據包原始大小及網絡最大傳輸單元（MTU）的限制。這也意味着帶內網絡遙測侵占部分網絡帶寬。除此之外，帶內網絡遙測支持VXLAN-GPE、Geneve、NSH、TCP和UDP等多種封裝協議。這些封裝協議大多包含頭部校驗過程。因此，元測量數據的插入需要更新校驗和字段，這將會增加交換機的處理開銷。目前，學術界缺少關於帶內網絡遙測對網絡性能損失產生的影響評估研究。

5.3 個流數據分析

相較於其他測量方案，帶內網絡遙測可以捕捉更為詳盡的個流網絡狀態信息（如網絡流逐跳延遲、逐跳緩存大小、多路徑傳輸的子路徑特性等）。這些個流網絡狀態信息的是傳統測量方案無法獲取或未曾研究的。如何針對個流建立准確的統計分析模型（如時間序列分析、回歸分析、關聯分析等）並基於這些模型設計部署網絡管理、優化方案成為未來帶內網絡遙測研究的重要任務。

5.4 遙測數據聚合

首先，帶內網絡遙測可能會產生大量遙測數據，除了占據網絡帶寬以外，還加重了服務器數據收集、存儲和分析負擔。假如網絡所有節點轉發的所有流量都進行帶內網絡遙測，一個節點將為每個數據包添加幾十個字節的遙測數據，數據包在整個轉發路徑可能會累計大量跟蹤數據，這些累計跟蹤數據甚至可能會超過原始數據包的大小。數據平面匯聚產生的遙測數據量與遙測元數據量、流量規模、網絡規模等有關。遙測服務器如何處理規模龐大的遙測數據是遙測系統性能衡量的關鍵環節。因此，遙測終點在匯報遙測數據時，應考慮對遙測數據進行預先壓縮、篩選和聚合處理，以減少遙測服務器壓力。

其次，現有狀態采集字段只能存放一些必不可少的有限數據。隨着網絡自動化技術、虛擬化技術、網絡融合、分組光纖融合的發展趨勢，帶內網絡遙測要按需並可交互地采集並提供更多網絡數據。因此，未來帶內網絡遙測技術的研究需要充分考慮數據字段的定義、聚合、獲取和過濾的靈活性和可擴展性。

最后，現有遙測原語（primitives）和模型過於復雜，帶內網絡遙測需要對遙測數據（如節點、鏈路、端口、路徑、流、時間戳等）查詢原語進行簡化。

5.5 遙測安全風險

帶內網絡遙測的數據平面可編程性導致潛在的軟件漏洞、后門、病毒帶來安全問題。帶內網絡遙測伴隨着對網絡數據包的查看、插入、封裝等包級操作。這些操作給用戶信息的保密和安全帶來一定威脅。除此之外，惡意INT Source通過不斷構造遙測數據包，侵占網絡帶寬，消耗中間節點處理能力，也可能會造成網絡可用資源枯竭的情況。因此，帶內網絡遙測系統中的節點認證與鑒權方案亟需研究。

6 參考文獻/資料

[1]    https://datatracker.ietf.org/wg/ippm/documents/

[2]    Kim C, Sivaraman A, Katta N, et al. In-band network telemetry via programmable dataplanes[C]//ACM SIGCOMM. 2015.

[3]    https://p4.org/assets/INT-current-spec.pdf

[4]    Karaagac A, De Poorter E, Hoebeke J. In-Band Network Telemetry in Industrial Wireless Sensor Networks[J]. IEEE Transactions on Network and Service Management, 2019.

[5]    劉爭爭, 畢軍, 周禹, et al. 基於P4的主動網絡遙測機制[J]. 通信學報, 2018, 39(S1):168-175.

[6]    Tu N V , Hyun J , Kim G Y , et al. INTCollector: A High-performance Collector for In-band Network Telemetry[C]// 2018 14th International Conference on Network and Service Management (CNSM). IEEE Computer Society, 2018.

[7]    Gupta A, Harrison R, Canini M, et al. Sonata: Query-driven streaming network telemetry[C]//Proceedings of the 2018 Conference of the ACM Special Interest Group on Data Communication. ACM, 2018: 357-371.

[8]    https://barefootnetworks.com/static/app/pdf/DI-UG42-003ea-ProdBrief.pdf

[9]    https://support.huawei.com/enterprise/zh/doc/EDOC1100059517/46d2dd1d

[10] https://www.mellanox.com/related-docs/solutions/SB_Mellanox_WJH.pdf

[11] Jeyakumar V, Alizadeh M, Geng Y, et al. Millions of little minions: Using packets for low latency network programming and visibility[C]//ACM SIGCOMM Computer Communication Review. ACM, 2014, 44(4): 3-14.

 

本文鏈接：https://www.sdnlab.com/23822.html