通過Mellanox ConnectX NIC使用XDP加速
Accelerating with XDP over Mellanox ConnectX NICs
XDP(eXpress Data Path)是Linux內核網絡堆棧中的可編程數據路徑。為BPF提供了一個框架,可以在運行時實現高性能的包處理。XDP與Linux網絡堆棧協同工作,不是內核旁路。
由於XDP運行在內核網絡驅動程序中,可以從網卡的RX環讀取以太網幀並立即采取運行。XDP通過在驅動程序中實現的RX鈎子插入eBPF基礎架構。XDP是EBPF的一個應用程序,可以使用返回碼觸發操作、修改包內容和推/拉頭文件信息。
XDP有各種各樣的用例,比如包過濾、包轉發、負載平衡、DDOS緩解等等。一個常見的用例是XDP_DROP,指示驅動程序丟棄數據包。這可以通過運行自定義BPF程序來解析在驅動程序中接收到的傳入數據包來完成。這個程序返回一個決策判斷或返回碼(XDP_DROP),其中數據包在驅動程序級被丟棄,而不會浪費任何進一步的資源。Ethtool計數器可用於驗證XDP程序的操作。
Running XDP_DROP
XDP程序一進入網絡驅動程序就運行,從而提高了網絡性能。還提高了CPU利用率。Mellanox ConnectX NIC系列允許NIC硬件准備元數據。此元數據可用於對使用XDP的應用程序執行硬件加速。
下面是一個如何使用Mellanox ConnectX-5運行XDP_DROP的示例。
檢查當前內核是否支持bpf和xdp:
sysctl net/core/bpf_jit_enable
如果找不到,請編譯並運行啟用了BPF的內核。可以使用任何大於5.0的上游內核。
啟用以下kconfig標志:
- BPF BPF_SYSCALL
- BPF_JIT
- HAVE_BPF_JIT
- BPF_EVENTS
創新啟動新的kernel.
Install clang and llvm:
yum install -y llvm clang libcap-devel
按照以下方法編譯
cd <linux src code> make samples/bpf/
這將編譯所有可用的XDP應用程序。編譯完成后,將看到/sample/bpf下的所有XDP應用程序(圖1)。
Figure 1. XDP applications under /sample/bpf.
在前面的安裝中,現在可以運行XDP應用程序了。可以在兩種模式下運行:
驅動程序路徑必須在驅動程序中具有實現。以頁面分辨率工作,不創建SKB。性能明顯提高。Mellanox NIC支持此模式。
通用路徑適用於任何網絡設備。與SKBs合作,但性能更差。
在驅動程序路徑中運行XDP_DROP。XDP_DROP是在Linux中丟棄數據包最簡單、最快的方法之一。在這里,指示驅動程序在驅動程序的最早Rx階段丟棄數據包。這意味着數據包被回收回剛剛到達的RX環隊列中。
位於<linux\u source>/samples/bpf/implements XDP Drop的xdp1應用程序。
選擇選擇的流量生成器。使用Cisco TRex。
在RX端,使用以下命令在驅動程序路徑中啟動xdp1:
<PATH_TO_LINUX_SOURCE>/samples/bpf/xdp1 -N <INTERFACE> # -N can be omitted
可以使用應用程序輸出,同時ethtool計數器顯示XDP丟棄率:
ethtool -S <intf> | grep -iE rx[0-9]*_xdp_drop
Figure 2. Verify XDP drop counter using ethtool counters.