本文首發於我的公眾號 Linux雲計算網絡(id: cloud_dev),專注於干貨分享,號內有 10T 書籍和視頻資源,后台回復「1024」即可領取,歡迎大家關注,二維碼文末可以掃。
前面幾篇文章介紹了 tap/tun、veth-pair,今天這篇來看看 Bridge。
Bridge 是什么
同 tap/tun、veth-pair 一樣,Bridge 也是一種虛擬網絡設備,所以具備虛擬網絡設備的所有特性,比如可以配置 IP、MAC 等。
除此之外,Bridge 還是一個交換機,具有交換機所有的功能。
對於普通的網絡設備,就像一個管道,只有兩端,數據從一端進,從另一端出。而 Bridge 有多個端口,數據可以從多個端口進,從多個端口出。
Bridge 的這個特性讓它可以接入其他的網絡設備,比如物理設備、虛擬設備、VLAN 設備等。Bridge 通常充當主設備,其他設備為從設備,這樣的效果就等同於物理交換機的端口連接了一根網線。比如下面這幅圖通過 Bridge 連接兩個 VM 的 tap 虛擬網卡和物理網卡 eth0。
VM 同主機通信
以這個圖來簡單說明下,借助 Bridge 來完成同主機兩台 VM 的之間的通信流程。
首先准備一個 centos 或 ubuntu 虛擬機,然后創建一個 bridge:
ip link add br0 type bridge
ip link set br0 up
然后通過 virt-manager
創建兩個 kvm 虛擬機:kvm1 和 kvm2(前提得支持嵌套虛擬化),將它們的 vNIC 掛到 br0 上,如下圖:
kvm 虛機會使用 tap 設備作為它的虛擬網卡,我們驗證下:
# ps -ef | grep kvm1
libvirt+ 3549 1 87 ? 00:22:09 qemu-system-x86_64 -enable-kvm -name kvm1 ... -netdev tap,fd=26,id=hostnet0,vhost=on,vhostfd=28 ...
可以看到,其中網絡部分參數,-netdev tap,fd=26
表示的就是連接主機上的 tap 設備。
創建的 fd=26 為讀寫 /dev/net/tun
的文件描述符。
使用 lsof -p 3549
驗證下:
# lsof -p 3549
COMMAND PID USER FD TYPE DEVICE SIZE/OFF NODE NAME
...
qemu-system 3549 libvirt-qemu 26u CHR 10,200 0t107 135 /dev/net/tun
...
可以看到,PID 為 3549 的進程打開了文件 /dev/net/tun
,分配的文件描述符 fd 為 26。
因此,我們可以得出以下結論:在 kvm 虛機啟動時,會向內核注冊 tap 虛擬網卡,同時打開設備文件 /dev/net/tun
,拿到文件描述符 fd,然后將 fd 和 tap 關聯,tap 就成了一端連接着用戶空間的 qemu-kvm,一端連着主機上的 bridge 的端口,促使兩者完成通信。
下面分別給兩虛機配上 IP:10.1.1.2/24
和 10.1.1.3/24
,ping 一下:
在 bridge 上抓個包看看:
可以看到,br0 上抓到 ping 的 ICMP echo 包和 ARP 包。
Bridge 常用使用場景
Bridge 設備通常就是結合 tap/tun、veth-pair 設備用於虛擬機、容器網絡里面。這兩種網絡,在數據傳輸流程上還有些許不同,我們簡單來看下:
首先是虛擬機網絡,虛擬機一般通過 tap/tun 設備將虛擬機網卡同宿主機里的 Bridge 連接起來,完成同主機和跨主機的通信。如下圖所示:
【圖片來源於網絡,侵權必刪】
虛擬機發出的數據包通過 tap 設備先到達 br0,然后經過 eth0 發送到物理網絡中,數據包不需要經過主機的的協議棧,效率是比較高的。
其次是容器網絡(容器網絡有多種引申的形式,這里我們只說 Bridge 網絡),容器網絡和虛擬機網絡類似,不過一般是使用 veth-pair 來連接容器和主機,因為在主機看來,容器就是一個個被隔離的 namespace,用 veth-pair 更有優勢。如下圖所示:
【圖片來源於網絡,侵權必刪】
容器的 Bridge 網絡通常配置成內網形式,要出外網需要走 NAT,所以它的數據傳輸不像虛擬機的橋接形式可以直接跨過協議棧,而是必須經過協議棧,通過 NAT 和 ip_forward 功能從物理網卡轉發出去,因此,從性能上看,Bridge 網絡虛擬機要優於容器。
總結
Linux Bridge 是虛擬交換機,功能和物理交換機一樣,用於連接虛擬機和容器。
虛擬機網絡和容器網絡的區別。
Bridge 是偏低級的工具,更高級的工具是 Open vSwitch,這個工具后面再詳說。
我的公眾號 「Linux雲計算網絡」(id: cloud_dev) ,號內有 10T 書籍和視頻資源,后台回復 「1024」 即可領取,分享的內容包括但不限於 Linux、網絡、雲計算虛擬化、容器Docker、OpenStack、Kubernetes、工具、SDN、OVS、DPDK、Go、Python、C/C++編程技術等內容,歡迎大家關注。