原文地址：https://networkop.co.uk/post/2021-03-ebpf-intro/
首發地址： 【譯】eBPF 和 Go 經驗初探
本站相關文檔：使用 Go 語言管理和分發 ebpf 程序
1. 前言
eBPF 的生態欣欣向榮，無論是 eBPF 本身及其各種應用（包括 XDP） 方面都有大量的學習資源。但當涉及到選擇庫和工具來與 eBPF 進行交互時，會讓人有所困惑。在選擇時，你必須在基於 Python 的 BCC 框架、基於 C 的 libbpf 和一系列基於 Go 的 Dropbox、Cilium、Aqua 和 Calico 等庫中選擇。另一個經常被忽視的重要領域是 eBPF 代碼的 "生產化"，即從手動編寫的樣例到生產級應用（例如 Cilium）。在本篇文章中，我將記錄相關的經驗，特別是在網絡（XDP）應用程序場景中，使用 Go 編寫的用戶空間控制程序。
2. 選擇 eBPF 庫
在大多數情況下，eBPF 庫主要協助實現兩個功能：
-
將 eBPF 程序和 Map 載入內核並執行重定位，通過其文件描述符將 eBPF 程序與正確的 Map 進行關聯。
-
與 eBPF Map 交互，允許對存儲在 Map 中的鍵/值對進行標准的 CRUD 操作。
部分庫也可以幫助你將 eBPF 程序附加到一個特定的鈎子，盡管對於網絡場景下，這可能很容易采用現有的 netlink API 庫完成。
當涉及到 eBPF 庫的選擇時，我並不是唯一感到困惑的人（見[1], [2]）。事實是每個庫都有各自的范圍和限制。
- Calico 在用 bpftool 和 iproute2 實現的 CLI 命令基礎上實現了一個 Go 包裝器。
- Aqua 實現了對 libbpf C 庫的 Go 包裝器。
- Dropbox 支持一小部分程序，但有一個非常干凈和方便的用戶API。
- IO Visor 的 gobpf 是 BCC 框架的 Go 語言綁定，它更注重於跟蹤和性能分析。
- Cilium 和 Cloudflare 維護一個 純 Go 語言編寫的庫 (以下簡稱 "libbpf-go")，它將所有 eBPF 系統調用抽象在一個本地 Go 接口后面。
基於我的網絡特定用例，我最終選擇了 libbpf-go，因為其被 Cilium 和 Cloudflare 使用，並且有一個活躍的社區，盡管我也非常喜歡簡單易用的 Dropbox 庫，並且也可以使用它。
為了熟悉開發過程，我決定實現一個 XDP 交叉連接的應用，它在網絡拓撲模擬方面有一個非常小眾但重要的用例。我們的目標是要有一個應用程序來觀察一個配置文件，並確保本地接口根據該文件的 YAML 規范進行互連。下面是對 xdp-xconnect 工作高層次概述。
下面的章節將逐步描述應用的構建和交付過程，更多的是關注集成，而不是實際的代碼。xdp-xconnect的完整代碼在Github上可用。
3. 步驟1 - 編寫 eBPF 代碼
通常情況下，這將是任何 "eBPF 入門" 文章的主要部分，然而這一次它並不是重點。我並不認為自己可以幫助別人學習如何編寫eBPF，然而，我可以參考一些非常好的資源。
- 通用的 eBPF 理論在網站 ebpf.io 和 Cilium 的 eBPF 和 XDP 參考指南中有大量的細節。
- 對 eBPF 和 XDP 進行實踐的最好地方是 xdp-tutorial。這是一個了不起的資源，即使你最終選擇不完成作業，也絕對值得閱讀。
- Cilium 的源代碼和其在 [1] 和 [2] 的分析。
我的 eBPF 程序非常簡單，它包括對 eBPF 幫助函數的一次調用，可根據傳入接口的索引將所有數據包從一個接口重定向到另一個。
#include <linux/bpf.h>
#include <bpf/bpf_helpers.h>
SEC("xdp")
int xdp_xconnect(struct xdp_md *ctx)
{
return bpf_redirect_map(&xconnect_map, ctx->ingress_ifindex, 0);
}
為了編譯上述程序，我們需要為所有包含的頭文件提供包含路徑。最簡單的方法是在 linux/tools/lib/bpf/ 下復制所有文件，然而，這將包括很多不必要的文件。因此，另一種方法是創建一個依賴性列表。
$ clang -MD -MF xconnect.d -target bpf -I ~/linux/tools/lib/bpf -c xconnect.c
現在我們可以只對 xconnect.d 中指定的少量文件進行本地拷貝，並使用以下命令為本地 CPU 架構編譯 eBPF 代碼。
$ clang -target bpf -Wall -O2 -emit-llvm -g -Iinclude -c xconnect.c -o - | \
llc -march=bpf -mcpu=probe -filetype=obj -o xconnect.o
The resulting ELF file is what we’d need to provide to our Go library in the next step.
編譯生成的 ELF 文件就是我們在下一步需要提供給 Go 庫的程序。
4. 步驟 2 - 編寫 Go 代碼
編譯好的 eBPF 程序和 Map 可以通過 libbpf-go 加載，這只需幾個指令。通過添加帶有 ebpf 標簽的結構，我們可以自動進行重定位程序，並且知道何處發現 Map。
spec, err := ebpf.LoadCollectionSpec("ebpf/xconnect.o")
if err != nil {
panic(err)
}
var objs struct {
XCProg *ebpf.Program `ebpf:"xdp_xconnect"`
XCMap *ebpf.Map `ebpf:"xconnect_map"`
}
if err := spec.LoadAndAssign(&objs, nil); err != nil {
panic(err)
}
defer objs.XCProg.Close()
defer objs.XCMap.Close()
ebpf.Map 類型有一組方法，可對加載的 Map 內容進行標准的 CRUD 操作：
err = objs.XCMap.Put(uint32(0), uint32(10))
var v0 uint32
err = objs.XCMap.Lookup(uint32(0), &v0)
err = objs.XCMap.Delete(uint32(0))
唯一沒有被 libbpf-go 包含的步驟是將程序附加到網絡鈎子上。然而，這可以通過任何現有的 netlink 庫輕松實現，例如vishvananda/netlink，通過將網絡連接與加載程序的文件描述符聯系起來：
link, err := netlink.LinkByName("eth0")
err = netlink.LinkSetXdpFdWithFlags(*link, c.objs.XCProg.FD(), 2)
請注意，我使用 SKB_MODE XDP 標志來繞過退出的 veth 驅動程序 caveat 。盡管本地 XDP 模式比任何其他 eBPF 鈎子快得多，但 SKB_MODE 可能沒有那么快，因為數據包頭必須由網絡棧預先解析（見視頻）。
5. 步驟 3 - 代碼分發
在這一點上，如果不是因為一個問題 -- eBPF 代碼可移植性，一切都應該已經准備好打包和發布應用。歷史上，這個過程涉及將 eBPF 源代碼復制到目標平台，拉取所需的內核頭文件，並為特定的內核版本進行編譯。這個問題對於追蹤/監控/跟蹤的用例尤其明顯，因為這些用例可能需要訪問幾乎所有的內核數據結構，所以唯一的解決辦法是引入中介層（見 CO-RE）。
另一方面，網絡用例依賴於一個相對較小且穩定的內核類型子集，所以它們不會像跟蹤和性能分析程序那樣遇到同樣的問題。根據我目前看到的情況，兩種最常見的代碼打包方法是：
- 將 eBPF 代碼與所需的內核頭文件放在一起，假設它們與底層內核相匹配（見Cilium）。
- 分發 eBPF 代碼並在目標平台上拉取內核頭文件。
在這兩種情況下，eBPF 代碼仍然需要在目標平台上編譯，這是一個額外的步驟，需要在用戶空間應用程序啟動之前進行。然而，還有一個選擇，那就是預先將 eBPF 代碼編譯成 ELF 格式文件，最終只分發 ELF 文件。這正是 bpf2go 可以做到的，它可以將編譯后的代碼嵌入到 Go 包中。其依靠 go generate 注解指令產生一個新的文件，其中包含編譯好的 eBPF 和 libbpf-go 腳手架代碼，唯一的要求是 //go:generate 指令。一旦生成，我們的 eBPF 程序只需幾行就可以被加載（注意沒有任何參數）。
specs, err := newXdpSpecs()
objs, err := specs.Load(nil)
這種方法明顯的優點是，我們不再需要在目標機器上編譯，可以在一個軟件包或 Go 二進制文件中同時運送 eBPF 和用戶空間 Go 代碼。這很好，因為它允許我們不僅將應用程序作為二進制文件使用，還可以將其導入任何第三方 Go 應用程序中（見使用實例）。
6. 閱讀和有趣的參考資料
通用理論：
https://github.com/xdp-project/xdp-tutorial
https://docs.cilium.io/en/stable/bpf/
https://qmonnet.github.io/whirl-offload/2016/09/01/dive-into-bpf/
BCC 和 libbpf：
https://facebookmicrosites.github.io/bpf/blog/2020/02/20/bcc-to-libbpf-howto-guide.html
https://nakryiko.com/posts/libbpf-bootstrap/
https://pingcap.com/blog/why-we-switched-from-bcc-to-libbpf-for-linux-bpf-performance-analysis
https://facebookmicrosites.github.io/bpf/blog/
eBPF/XDP 性能：
https://www.netronome.com/blog/bpf-ebpf-xdp-and-bpfilter-what-are-these-things-and-what-do-they-mean-enterprise/
Linus Kernel 代碼風格：
https://www.kernel.org/doc/html/v5.9/process/coding-style.html
libbpf-go 樣例程序：
https://github.com/takehaya/goxdp-template
https://github.com/hrntknr/nfNat
https://github.com/takehaya/Vinbero
https://github.com/tcfw/vpc
https://github.com/florianl/tc-skeleton
https://github.com/cloudflare/rakelimit
https://github.com/b3a-dev/ebpf-geoip-demo
bpf2go：
https://github.com/lmb/ship-bpf-with-go
https://pkg.go.dev/github.com/cilium/ebpf/cmd/bpf2go
XDP 樣例程序：
https://github.com/cpmarvin/lnetd-ctl
https://gitlab.com/mwiget/crpd-l2tpv3-xdp