本文首發於我的公眾號 Linux雲計算網絡（id: cloud_dev），專注於干貨分享，號內有 10T 書籍和視頻資源，后台回復「1024」即可領取，歡迎大家關注，二維碼文末可以掃。
上一篇文章我們詳細介紹了 macvlan 這種技術，macvlan 詳解，由於它高效易配置的特性，被用在了 Docker 的網絡方案設計中，這篇文章就來說說這個。
01 macvlan 用於 Docker 網絡
在 Docker 中，macvlan 是眾多 Docker 網絡模型中的一種，並且是一種跨主機的網絡模型，作為一種驅動（driver）啟用（-d 參數指定），Docker macvlan 只支持 bridge 模式。
下面我們做兩個實驗，分別驗證相同 macvlan 網絡和不同 macvlan 網絡的連通性。
1.1 相同 macvlan 網絡之間的通信
首先准備兩個主機節點的 Docker 環境，搭建如下拓撲圖示：
1 首先使用 docker network create 分別在兩台主機上創建兩個 macvlan 網絡：
root@ubuntu:~# docker network create -d macvlan --subnet=172.16.10.0/24 --gateway=172.16.10.1 -o parent=enp0s8 mac1
這條命令中，
-d指定 Docker 網絡 driver--subnet指定 macvlan 網絡所在的網絡--gateway指定網關-o parent指定用來分配 macvlan 網絡的物理網卡
之后可以看到當前主機的網絡環境，其中出現了 macvlan 網絡：
root@ubuntu:~# docker network ls
NETWORK ID NAME DRIVER SCOPE
128956db798a bridge bridge local
19fb1af129e6 host host local
2509b3717813 mac1 macvlan local
d5b0798e725e none null local
2 在 host1 運行容器 c1，並指定使用 macvlan 網絡：
root@ubuntu:~# docker run -itd --name c1 --ip=172.16.10.2 --network mac1 busybox
這條命令中，
--ip指定容器 c1 使用的 IP，這樣做的目的是防止自動分配，造成 IP 沖突--network指定 macvlan 網絡
同樣在 host2 中運行容器 c2：
root@ubuntu:~# docker run -itd --name c2 --ip=172.16.10.3 --network mac1 busybox
3 在 host1 c1 中 ping host2 c2：
root@ubuntu:~# docker exec c1 ping -c 2 172.16.10.3
PING 172.16.10.3 (172.16.10.3): 56 data bytes
64 bytes from 172.16.10.3: seq=0 ttl=64 time=0.641 ms
64 bytes from 172.16.10.3: seq=1 ttl=64 time=0.393 ms
--- 172.16.10.3 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.393/0.517/0.641 ms
注意：以上的實驗都需要物理網卡 enp0s8 開啟混雜模式，不然會 ping 不通。
1.2 不同 macvlan 網絡之間的通信
接下來，我們來看看不同 macvlan 網絡之間的連通性，搭建以下的拓撲環境：
由於 macvlan 網絡會獨占物理網卡，也就是說一張物理網卡只能創建一個 macvlan 網絡，如果我們想創建多個 macvlan 網絡就得用多張網卡，但主機的物理網卡是有限的，怎么辦呢？
好在 macvlan 網絡也是支持 VLAN 子接口的，所以，我們可以通過 VLAN 技術將一個網口划分出多個子網口，這樣就可以基於子網口來創建 macvlan 網絡了，下面是具體的創建過程。
1 首先分別在兩台主機上將物理網口 enp0s8 創建出兩個 VLAN 子接口。
# 使用 vconfig 命令在 eth0 配置兩個 VLAN
root@ubuntu:~# vconfig add enp0s8 100
root@ubuntu:~# vconfig add enp0s8 200
# 設置 VLAN 的 REORDER_HDR 參數，默認就行了
root@ubuntu:~# vconfig set_flag enp0s8.100 1 1
root@ubuntu:~# vconfig set_flag enp0s8.200 1 1
# 啟用接口
root@ubuntu:~# ifconfig enp0s8.100 up
root@ubuntu:~# ifconfig enp0s8.200 up
2 分別在 host1 和 host2 上基於兩個 VLAN 子接口創建 2 個 macvlan 網絡，mac10 和 mac20。
root@ubuntu:~# docker network create -d macvlan --subnet=172.16.10.0/24 --gateway=172.16.10.1 -o parent=enp0s8.100 mac10
root@ubuntu:~# docker network create -d macvlan --subnet=172.16.20.0/24 --gateway=172.16.20.1 -o parent=enp0s8.200 mac20
3 分別在 host1 和 host2 上運行容器，並指定不同的 macvlan 網絡。
# host1
root@ubuntu:~# docker run -itd --name d1 --ip=172.16.10.10 --network mac10 busybox
root@ubuntu:~# docker run -itd --name d2 --ip=172.16.20.10 --network mac20 busybox
# host2
root@ubuntu:~# docker run -itd --name d3 --ip=172.16.10.11 --network mac10 busybox
root@ubuntu:~# docker run -itd --name d4 --ip=172.16.20.11 --network mac20 busybox
通過驗證，d1 和 d3，d2 和 d4 在同一 macvlan 網絡下，互相可以 ping 通，d1 和 d2，d1 和 d4 在不同的 macvlan 網絡下，互相 ping 不通。
這個原因也很明確，不同 macvlan 網絡處於不同的網絡，而且通過 VLAN 隔離，自然 ping 不了。
但這也只是在二層上通不了，通過三層的路由是可以通的，我們這就來驗證下。
重新找一台主機 host3，通過打開 ip_forward 把它改造成一台路由器（至於為什么可以這樣，可以參考我之前的一篇文章），用來打通兩個 macvlan 網絡，大概的圖示如下所示：
1 首先對 host3 執行 sysctl -w net.ipv4.ip_forward=1 打開路由開關。
2 然后創建兩個 VLAN 子接口，一個作為 macvlan 網絡 mac10 的網關，一個作為 mac20 的網關。
[root@localhost ~]# vconfig add enp0s8 100
[root@localhost ~]# vconfig add enp0s8 200
[root@localhost ~]# vconfig set_flag enp0s8.100 1 1
[root@localhost ~]# vconfig set_flag enp0s8.200 1 1
# 對 vlan 子接口配置網關 IP 並啟用
[root@localhost ~]# ifconfig enp0s8.100 172.16.10.1 netmask 255.255.255.0 up
[root@localhost ~]# ifconfig enp0s8.200 172.16.20.1 netmask 255.255.255.0 up
3 這樣之后再從 d1 ping d2 和 d4，就可以 ping 通了。
root@ubuntu:~# docker exec d1 ping -c 2 172.16.20.10
PING 172.16.20.10 (172.16.20.10): 56 data bytes
64 bytes from 172.16.20.10: seq=0 ttl=63 time=0.661 ms
64 bytes from 172.16.20.10: seq=1 ttl=63 time=0.717 ms
--- 172.16.20.10 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.661/0.689/0.717 ms
root@ubuntu:~# docker exec d1 ping -c 2 172.16.20.11
PING 172.16.20.11 (172.16.20.11): 56 data bytes
64 bytes from 172.16.20.11: seq=0 ttl=63 time=0.548 ms
64 bytes from 172.16.20.11: seq=1 ttl=63 time=0.529 ms
--- 172.16.20.11 ping statistics ---
2 packets transmitted, 2 packets received, 0% packet loss
round-trip min/avg/max = 0.529/0.538/0.548 ms
PS：可能有些系統做了安全限制，可能 ping 不通，這時候可以添加以下 iptables 規則，目的是讓系統能夠轉發不通 VLAN 的數據包。
iptables -t nat -A POSTROUTING -o enp0s8.100 -j MASQUERADE
iptables -t nat -A POSTROUTING -oenp0s8.200 -j MASQUERADE
iptables -A FORWARD -i enp0s8.100 -o enp0s8.200 -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i enp0s8.200 -o enp0s8.100 -m state --state RELATED,ESTABLISHED -j ACCEPT
iptables -A FORWARD -i enp0s8.100 -o enp0s8.200 -j ACCEPT
iptables -A FORWARD -i enp0s8.200 -o enp0s8.100 -j ACCEPT
為什么配置 VLAN 子接口，配上 IP 就可以通了，我們可以看下路由表就知道了。
首先看容器 d1 的路由：
root@ubuntu:~# docker exec d1 ip route
default via 172.16.10.1 dev eth0
172.16.10.0/24 dev eth0 scope link src 172.16.10.10
我們在創建容器的時候指定了網關 172.16.10.1，所以數據包自然會被路由到 host3 的接口。再來看下 host3 的路由：
[root@localhost ~]# ip route
default via 192.168.108.1 dev enp0s3 proto dhcp metric 100
172.16.10.0/24 dev enp0s8.100 proto kernel scope link src 172.16.10.1
172.16.20.0/24 dev enp0s8.200 proto kernel scope link src 172.16.20.1
192.168.56.0/24 dev enp0s8 proto kernel scope link src 192.168.56.122 metric 101
192.168.108.0/24 dev enp0s3 proto kernel scope link src 192.168.108.2 metric 100
可以看到，去往 172.16.10.0/24 網段的數據包會從 enp0s8.100 出去，同理 172.16.20.0/24 網段也是，再加上 host3 的 ip_forward 打開，這就打通了兩個 macvlan 網絡之間的通路。
02 總結
macvlan 是一種網卡虛擬化技術，能夠將一張網卡虛擬出多張網卡。
macvlan 的四種通信模式，常用模式是 bridge。
在 Docker 中，macvlan 只支持 bridge 模式。
相同 macvlan 可以通信，不同 macvlan 二層無法通信，可以借助三層路由完成通信。
思考一下：
- macvlan bridge 和 bridge 的異同點
- 還有一種類似的技術，多張虛擬網卡共享相同 MAC 地址，但有獨立的 IP 地址，這是什么技術？
后台回復“加群”，帶你進入高手如雲交流群
我的公眾號 「Linux雲計算網絡」(id: cloud_dev) ，號內有 10T 書籍和視頻資源，后台回復 「1024」 即可領取，分享的內容包括但不限於 Linux、網絡、雲計算虛擬化、容器Docker、OpenStack、Kubernetes、工具、SDN、OVS、DPDK、Go、Python、C/C++編程技術等內容，歡迎大家關注。
參考：
https://www.cnblogs.com/CloudMan6/p/7400580.html