袖珍指南
Docker作為目前最火的輕量級容器技術，牛逼的功能，如Docker的鏡像管理，不足的地方網絡方面。
Docker自身的4種網絡工作方式，和一些自定義網絡模式
安裝Docker時，它會自動創建三個網絡，bridge（創建容器默認連接到此網絡）、 none 、host
host：容器將不會虛擬出自己的網卡，配置自己的IP等，而是使用宿主機的IP和端口。
Container：創建的容器不會創建自己的網卡，配置自己的IP，而是和一個指定的容器共享IP、端口范圍。
None：該模式關閉了容器的網絡功能。
Bridge：此模式會為每一個容器分配、設置IP等，並將容器連接到一個docker0虛擬網橋，通過docker0網橋以及Iptables nat表配置與宿主機通信。
以上都是不用動手的，真正需要配置的是自定義網絡。
一、前言
當你開始大規模使用Docker時，你會發現需要了解很多關於網絡的知識。Docker作為目前最火的輕量級容器技術，有很多令人稱道的功能，如Docker的鏡像管理。然而，Docker同樣有着很多不完善的地方，網絡方面就是Docker比較薄弱的部分。因此，我們有必要深入了解Docker的網絡知識，以滿足更高的網絡需求。本文首先介紹了Docker自身的4種網絡工作方式，然后介紹一些自定義網絡模式。
二、默認網絡
當你安裝Docker時，它會自動創建三個網絡。你可以使用以下docker network ls命令列出這些網絡：
$ docker network ls NETWORK ID NAME DRIVER 7fca4eb8c647 bridge bridge 9f904ee27bf5 none null cf03ee007fb4 host host
Docker內置這三個網絡，運行容器時，你可以使用該--network標志來指定容器應連接到哪些網絡。
該bridge網絡代表docker0所有Docker安裝中存在的網絡。除非你使用該docker run --network=<NETWORK>選項指定，否則Docker守護程序默認將容器連接到此網絡。
我們在使用docker run創建Docker容器時，可以用 --net 選項指定容器的網絡模式，Docker可以有以下4種網絡模式：
host模式：使用 --net=host 指定。
none模式：使用 --net=none 指定。
bridge模式：使用 --net=bridge 指定，默認設置。
container模式：使用 --net=container:NAME_or_ID 指定。
下面分別介紹一下Docker的各個網絡模式。
2.1 Host
相當於Vmware中的橋接模式，與宿主機在同一個網絡中，但沒有獨立IP地址。眾所周知，Docker使用了Linux的Namespaces技術來進行資源隔離，如PID Namespace隔離進程，Mount Namespace隔離文件系統，Network Namespace隔離網絡等。一個Network Namespace提供了一份獨立的網絡環境，包括網卡、路由、Iptable規則等都與其他的Network Namespace隔離。一個Docker容器一般會分配一個獨立的Network Namespace。但如果啟動容器的時候使用host模式，那么這個容器將不會獲得一個獨立的Network Namespace，而是和宿主機共用一個Network Namespace。容器將不會虛擬出自己的網卡，配置自己的IP等，而是使用宿主機的IP和端口。
例如，我們在10.10.0.186/24的機器上用host模式啟動一個含有nginx應用的Docker容器，監聽tcp80端口。
# 運行容器; $ docker run --name=nginx_host --net=host -p 80:80 -d nginx 74c911272942841875f4faf2aca02e3814035c900840d11e3f141fbaa884ae5c # 查看容器; $ docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 74c911272942 nginx "nginx -g 'daemon ..." 25 seconds ago Up 25 seconds nginx_host
當我們在容器中執行任何類似ifconfig命令查看網絡環境時，看到的都是宿主機上的信息。而外界訪問容器中的應用，則直接使用10.10.0.186:80即可，不用任何NAT轉換，就如直接跑在宿主機中一樣。但是，容器的其他方面，如文件系統、進程列表等還是和宿主機隔離的。
$ netstat -nplt | grep nginx tcp 0 0 0.0.0.0:80 0.0.0.0:* LISTEN 27340/nginx: master
2.2 Container
在理解了host模式后，這個模式也就好理解了。這個模式指定新創建的容器和已經存在的一個容器共享一個Network Namespace，而不是和宿主機共享。新創建的容器不會創建自己的網卡，配置自己的IP，而是和一個指定的容器共享IP、端口范圍等。同樣，兩個容器除了網絡方面，其他的如文件系統、進程列表等還是隔離的。兩個容器的進程可以通過lo網卡設備通信。
2.3 None
該模式將容器放置在它自己的網絡棧中，但是並不進行任何配置。實際上，該模式關閉了容器的網絡功能，在以下兩種情況下是有用的：容器並不需要網絡（例如只需要寫磁盤卷的批處理任務）。
overlay
在docker1.7代碼進行了重構，單獨把網絡部分獨立出來編寫，所以在docker1.8新加入的一個overlay網絡模式。Docker對於網絡訪問的控制也是在逐漸完善的。
2.4 Bridge
相當於Vmware中的Nat模式，容器使用獨立network Namespace，並連接到docker0虛擬網卡（默認模式）。通過docker0網橋以及Iptables nat表配置與宿主機通信；bridge模式是Docker默認的網絡設置，此模式會為每一個容器分配Network Namespace、設置IP等，並將一個主機上的Docker容器連接到一個虛擬網橋上。下面着重介紹一下此模式。
三、Bridge模式
3.1 Bridge模式的拓撲
當Docker server啟動時，會在主機上創建一個名為docker0的虛擬網橋，此主機上啟動的Docker容器會連接到這個虛擬網橋上。虛擬網橋的工作方式和物理交換機類似，這樣主機上的所有容器就通過交換機連在了一個二層網絡中。接下來就要為容器分配IP了，Docker會從RFC1918所定義的私有IP網段中，選擇一個和宿主機不同的IP地址和子網分配給docker0，連接到docker0的容器就從這個子網中選擇一個未占用的IP使用。如一般Docker會使用172.17.0.0/16這個網段，並將172.17.0.1/16分配給docker0網橋（在主機上使用ifconfig命令是可以看到docker0的，可以認為它是網橋的管理接口，在宿主機上作為一塊虛擬網卡使用）。單機環境下的網絡拓撲如下，主機地址為10.10.0.186/24。
3.2 Docker：網絡模式詳解
Docker完成以上網絡配置的過程大致是這樣的：
1. 在主機上創建一對虛擬網卡veth pair設備。veth設備總是成對出現的，它們組成了一個數據的通道，數據從一個設備進入，就會從另一個設備出來。因此，veth設備常用來連接兩個網絡設備。
2. Docker將veth pair設備的一端放在新創建的容器中，並命名為eth0。另一端放在主機中，以veth65f9這樣類似的名字命名，並將這個網絡設備加入到docker0網橋中，可以通過brctl show命令查看。
$ brctl show bridge name bridge id STP enabled interfaces docker0 8000.02425f21c208 no
3. 從docker0子網中分配一個IP給容器使用，並設置docker0的IP地址為容器的默認網關。
# 運行容器;
$ docker run --name=nginx_bridge --net=bridge -p 80:80 -d nginx
9582dbec7981085ab1f159edcc4bf35e2ee8d5a03984d214bce32a30eab4921a
# 查看容器;
$ docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
9582dbec7981 nginx "nginx -g 'daemon ..." 3 seconds ago Up 2 seconds 0.0.0.0:80->80/tcp nginx_bridge
# 查看容器網絡;
$ docker inspect 9582dbec7981
"Networks": {
"bridge": {
"IPAMConfig": null,
"Links": null,
"Aliases": null,
"NetworkID": "9e017f5d4724039f24acc8aec634c8d2af3a9024f67585fce0a0d2b3cb470059",
"EndpointID": "81b94c1b57de26f9c6690942cd78689041d6c27a564e079d7b1f603ecc104b3b",
"Gateway": "172.17.0.1",
"IPAddress": "172.17.0.2",
"IPPrefixLen": 16,
"IPv6Gateway": "",
"GlobalIPv6Address": "",
"GlobalIPv6PrefixLen": 0,
"MacAddress": "02:42:ac:11:00:02"
}
}
$ docker network inspect bridge
[
{
"Name": "bridge",
"Id": "9e017f5d4724039f24acc8aec634c8d2af3a9024f67585fce0a0d2b3cb470059",
"Created": "2017-08-09T23:20:28.061678042-04:00",
"Scope": "local",
"Driver": "bridge",
"EnableIPv6": false,
"IPAM": {
"Driver": "default",
"Options": null,
"Config": [
{
"Subnet": "172.17.0.0/16"
}
]
},
"Internal": false,
"Attachable": false,
"Ingress": false,
"Containers": {
"9582dbec7981085ab1f159edcc4bf35e2ee8d5a03984d214bce32a30eab4921a": {
"Name": "nginx_bridge",
"EndpointID": "81b94c1b57de26f9c6690942cd78689041d6c27a564e079d7b1f603ecc104b3b",
"MacAddress": "02:42:ac:11:00:02",
"IPv4Address": "172.17.0.2/16",
"IPv6Address": ""
}
},
"Options": {
"com.docker.network.bridge.default_bridge": "true",
"com.docker.network.bridge.enable_icc": "true",
"com.docker.network.bridge.enable_ip_masquerade": "true",
"com.docker.network.bridge.host_binding_ipv4": "0.0.0.0",
"com.docker.network.bridge.name": "docker0",
"com.docker.network.driver.mtu": "1500"
},
"Labels": {}
}
]
網絡拓撲介紹完后，接着介紹一下bridge模式下容器是如何通信的。
3.3 bridge模式下容器的通信
在bridge模式下，連在同一網橋上的容器可以相互通信（若出於安全考慮，也可以禁止它們之間通信，方法是在DOCKER_OPTS變量中設置–icc=false，這樣只有使用–link才能使兩個容器通信）。
Docker可以開啟容器間通信（意味着默認配置--icc=true），也就是說，宿主機上的所有容器可以不受任何限制地相互通信，這可能導致拒絕服務攻擊。進一步地，Docker可以通過--ip_forward和--iptables兩個選項控制容器間、容器和外部世界的通信。
容器也可以與外部通信，我們看一下主機上的Iptable規則，可以看到這么一條
-A POSTROUTING -s 172.17.0.0/16 ! -o docker0 -j MASQUERADE
這條規則會將源地址為172.17.0.0/16的包（也就是從Docker容器產生的包），並且不是從docker0網卡發出的，進行源地址轉換，轉換成主機網卡的地址。這么說可能不太好理解，舉一個例子說明一下。假設主機有一塊網卡為eth0，IP地址為10.10.101.105/24，網關為10.10.101.254。從主機上一個IP為172.17.0.1/16的容器中ping百度（180.76.3.151）。IP包首先從容器發往自己的默認網關docker0，包到達docker0后，也就到達了主機上。然后會查詢主機的路由表，發現包應該從主機的eth0發往主機的網關10.10.105.254/24。接着包會轉發給eth0，並從eth0發出去（主機的ip_forward轉發應該已經打開）。這時候，上面的Iptable規則就會起作用，對包做SNAT轉換，將源地址換為eth0的地址。這樣，在外界看來，這個包就是從10.10.101.105上發出來的，Docker容器對外是不可見的。
那么，外面的機器是如何訪問Docker容器的服務呢？我們首先用下面命令創建一個含有web應用的容器，將容器的80端口映射到主機的80端口。
$ docker run --name=nginx_bridge --net=bridge -p 80:80 -d nginx
然后查看Iptable規則的變化，發現多了這樣一條規則：
-A DOCKER ! -i docker0 -p tcp -m tcp --dport 80 -j DNAT --to-destination 172.17.0.2:80
此條規則就是對主機eth0收到的目的端口為80的tcp流量進行DNAT轉換，將流量發往172.17.0.2:80，也就是我們上面創建的Docker容器。所以，外界只需訪問10.10.101.105:80就可以訪問到容器中的服務。
除此之外，我們還可以自定義Docker使用的IP地址、DNS等信息，甚至使用自己定義的網橋，但是其工作方式還是一樣的。
四、自定義網絡
建議使用自定義的網橋來控制哪些容器可以相互通信，還可以自動DNS解析容器名稱到IP地址。Docker提供了創建這些網絡的默認網絡驅動程序，你可以創建一個新的Bridge網絡，Overlay或Macvlan網絡。你還可以創建一個網絡插件或遠程網絡進行完整的自定義和控制。
你可以根據需要創建任意數量的網絡，並且可以在任何給定時間將容器連接到這些網絡中的零個或多個網絡。此外，您可以連接並斷開網絡中的運行容器，而無需重新啟動容器。當容器連接到多個網絡時，其外部連接通過第一個非內部網絡以詞法順序提供。
接下來介紹Docker的內置網絡驅動程序。
4.1 bridge
一個bridge網絡是Docker中最常用的網絡類型。橋接網絡類似於默認bridge網絡，但添加一些新功能並刪除一些舊的能力。以下示例創建一些橋接網絡，並對這些網絡上的容器執行一些實驗。
$ docker network create --driver bridge new_bridge
創建網絡后，可以看到新增加了一個網橋（172.18.0.1）。
$ ifconfig
br-f677ada3003c: flags=4099<UP,BROADCAST,MULTICAST> mtu 1500
inet 172.18.0.1 netmask 255.255.0.0 broadcast 0.0.0.0
ether 02:42:2f:c1:db:5a txqueuelen 0 (Ethernet)
RX packets 4001976 bytes 526995216 (502.5 MiB)
RX errors 0 dropped 35 overruns 0 frame 0
TX packets 1424063 bytes 186928741 (178.2 MiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
docker0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
inet 172.17.0.1 netmask 255.255.0.0 broadcast 0.0.0.0
inet6 fe80::42:5fff:fe21:c208 prefixlen 64 scopeid 0x20<link>
ether 02:42:5f:21:c2:08 txqueuelen 0 (Ethernet)
RX packets 12 bytes 2132 (2.0 KiB)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 24 bytes 2633 (2.5 KiB)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
4.2 Macvlan
Macvlan是一個新的嘗試，是真正的網絡虛擬化技術的轉折點。Linux實現非常輕量級，因為與傳統的Linux Bridge隔離相比，它們只是簡單地與一個Linux以太網接口或子接口相關聯，以實現網絡之間的分離和與物理網絡的連接。
Macvlan提供了許多獨特的功能，並有充足的空間進一步創新與各種模式。這些方法的兩個高級優點是繞過Linux網橋的正面性能以及移動部件少的簡單性。刪除傳統上駐留在Docker主機NIC和容器接口之間的網橋留下了一個非常簡單的設置，包括容器接口，直接連接到Docker主機接口。由於在這些情況下沒有端口映射，因此可以輕松訪問外部服務。
4.2.1 Macvlan Bridge模式示例用法
Macvlan Bridge模式每個容器都有唯一的MAC地址，用於跟蹤Docker主機的MAC到端口映射。 Macvlan驅動程序網絡連接到父Docker主機接口。示例是物理接口，例如eth0，用於802.1q VLAN標記的子接口eth0.10（.10代表VLAN 10）或甚至綁定的主機適配器，將兩個以太網接口捆綁為單個邏輯接口。 指定的網關由網絡基礎設施提供的主機外部。 每個Macvlan Bridge模式的Docker網絡彼此隔離，一次只能有一個網絡連接到父節點。每個主機適配器有一個理論限制，每個主機適配器可以連接一個Docker網絡。 同一子網內的任何容器都可以與沒有網關的同一網絡中的任何其他容器進行通信macvlan bridge。 相同的docker network命令適用於vlan驅動程序。 在Macvlan模式下，在兩個網絡/子網之間沒有外部進程路由的情況下，單獨網絡上的容器無法互相訪問。這也適用於同一碼頭網絡內的多個子網。
在以下示例中，eth0在docker主機網絡上具有IP地址172.16.86.0/24，默認網關為172.16.86.1，網關地址為外部路由器172.16.86.1。
注意對於Macvlan橋接模式，子網值需要與Docker主機的NIC的接口相匹配。例如，使用由該-o parent=選項指定的Docker主機以太網接口的相同子網和網關。
此示例中使用的父接口位於eth0子網上172.16.86.0/24，這些容器中的容器docker network也需要和父級同一個子網-o parent=。網關是網絡上的外部路由器，不是任何ip偽裝或任何其他本地代理。
驅動程序用-d driver_name選項指定，在這種情況下-d macvlan。
父節點-o parent=eth0配置如下：
$ ip addr show eth0
3: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
inet 172.16.86.250/24 brd 172.16.86.255 scope global eth0
創建macvlan網絡並運行附加的幾個容器：
# Macvlan (-o macvlan_mode= Defaults to Bridge mode if not specified)
docker network create -d macvlan \
--subnet=172.16.86.0/24 \
--gateway=172.16.86.1 \
-o parent=eth0 pub_net
# Run a container on the new network specifying the --ip address.
docker run --net=pub_net --ip=172.16.86.10 -itd alpine /bin/sh
# Start a second container and ping the first
docker run --net=pub_net -it --rm alpine /bin/sh
ping -c 4 172.16.86.10
看看容器ip和路由表：
ip a show eth0
eth0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN
link/ether 46:b2:6b:26:2f:69 brd ff:ff:ff:ff:ff:ff
inet 172.16.86.2/24 scope global eth0
ip route
default via 172.16.86.1 dev eth0
172.16.86.0/24 dev eth0 src 172.16.86.2
# NOTE: the containers can NOT ping the underlying host interfaces as
# they are intentionally filtered by Linux for additional isolation.
# In this case the containers cannot ping the -o parent=172.16.86.250
4.2.2 Macvlan 802.1q Trunk Bridge模式示例用法
VLAN（虛擬局域網）長期以來一直是虛擬化數據中心網絡的主要手段，目前仍在幾乎所有現有的網絡中隔離廣播的主要手段。
常用的VLAN划分方式是通過端口進行划分，盡管這種划分VLAN的方式設置比較很簡單，但僅適用於終端設備物理位置比較固定的組網環境。隨着移動辦公的普及，終端設備可能不再通過固定端口接入交換機，這就會增加網絡管理的工作量。比如，一個用戶可能本次接入交換機的端口1，而下一次接入交換機的端口2，由於端口1和端口2屬於不同的VLAN，若用戶想要接入原來的VLAN中，網管就必須重新對交換機進行配置。顯然，這種划分方式不適合那些需要頻繁改變拓撲結構的網絡。而MAC VLAN可以有效解決這個問題，它根據終端設備的MAC地址來划分VLAN。這樣，即使用戶改變了接入端口，也仍然處在原VLAN中。
Mac vlan不是以交換機端口來划分vlan。因此，一個交換機端口可以接受來自多個mac地址的數據。一個交換機端口要處理多個vlan的數據，則要設置trunk模式。
在主機上同時運行多個虛擬網絡的要求是非常常見的。Linux網絡長期以來一直支持VLAN標記，也稱為標准802.1q，用於維護網絡之間的數據路由隔離。連接到Docker主機的以太網鏈路可以配置為支持802.1q VLAN ID，方法是創建Linux子接口，每個子接口專用於唯一的VLAN ID。
創建Macvlan網絡
VLAN ID 10
$ docker network create \ --driver macvlan \ --subnet=10.10.0.0/24 \ --gateway=10.10.0.253 \ -o parent=eth0.10 macvlan10
開啟一個橋接Macvlan的容器：
$ docker run --net=macvlan10 -it --name macvlan_test1 --rm alpine /bin/sh
/ # ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
21: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN
link/ether 02:42:0a:0a:00:01 brd ff:ff:ff:ff:ff:ff
inet 10.10.0.1/24 scope global eth0
valid_lft forever preferred_lft forever
可以看到分配了一個10.10.0.1的地址，然后看一下路由地址。
/ # ip route default via 10.10.0.253 dev eth0 10.10.0.0/24 dev eth0 src 10.10.0.1
然后再開啟一個橋接Macvlan的容器：
$ docker run --net=macvlan10 -it --name macvlan_test2 --rm alpine /bin/sh
/ # ip addr show
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN
link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
inet 127.0.0.1/8 scope host lo
valid_lft forever preferred_lft forever
22: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN
link/ether 02:42:0a:0a:00:02 brd ff:ff:ff:ff:ff:ff
inet 10.10.0.2/24 scope global eth0
valid_lft forever preferred_lft forever
可以看到分配了一個10.10.0.2的地址，然后可以在兩個容器之間相互ping，是可以ping通的。
/ # ping 10.10.0.1 PING 10.10.0.1 (10.10.0.1): 56 data bytes 64 bytes from 10.10.0.1: seq=0 ttl=64 time=0.094 ms 64 bytes from 10.10.0.1: seq=1 ttl=64 time=0.057 ms
經過上面兩個容器的創建可以看出，容器IP是根據創建網絡時的網段從小往大分配的。
當然，在創建容器時，我們也可以使用--ip手動執行一個IP地址分配給容器，如下操作。
$ docker run --net=macvlan10 -it --name macvlan_test3 --ip=10.10.0.189 --rm alpine /bin/sh
/ # ip addr show eth0
24: eth0@if13: <BROADCAST,MULTICAST,UP,LOWER_UP,M-DOWN> mtu 1500 qdisc noqueue state UNKNOWN
link/ether 02:42:0a:0a:00:bd brd ff:ff:ff:ff:ff:ff
inet 10.10.0.189/24 scope global eth0
valid_lft forever preferred_lft forever
VLAN ID 20
接着可以創建由Docker主機標記和隔離的第二個VLAN網絡，該macvlan_mode默認是macvlan_mode=bridge，如下：
$ docker network create \ --driver macvlan \ --subnet=192.10.0.0/24 \ --gateway=192.10.0.253 \ -o parent=eth0.20 \ -o macvlan_mode=bridge macvlan20
當我們創建完Macvlan網絡之后，在docker主機可以看到相關的子接口，如下：
$ ifconfig
eth0.10: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
ether 00:0c:29:16:01:8b txqueuelen 0 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 18 bytes 804 (804.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
eth0.20: flags=4163<UP,BROADCAST,RUNNING,MULTICAST> mtu 1500
ether 00:0c:29:16:01:8b txqueuelen 0 (Ethernet)
RX packets 0 bytes 0 (0.0 B)
RX errors 0 dropped 0 overruns 0 frame 0
TX packets 0 bytes 0 (0.0 B)
TX errors 0 dropped 0 overruns 0 carrier 0 collisions 0
在/proc/net/vlan/config文件中，還可以看見相關的Vlan信息，如下：
$ cat /proc/net/vlan/config VLAN Dev name | VLAN ID Name-Type: VLAN_NAME_TYPE_RAW_PLUS_VID_NO_PAD eth0.10 | 10 | eth0 eth0.20 | 20 | eth0