一 部署flannel
1.1 安裝flannel
kubernetes 要求集群內各節點(包括 master 節點)能通過 Pod 網段互聯互通。flannel 使用 vxlan 技術為各節點創建一個可以互通的 Pod 網絡，使用的端口為 UDP 8472。
flanneld 第一次啟動時，從 etcd 獲取配置的 Pod 網段信息，為本節點分配一個未使用的地址段，然后創建 flannedl.1 網絡接口（也可能是其它名稱，如 flannel1 等）。
flannel 將分配給自己的 Pod 網段信息寫入 /run/flannel/docker 文件，docker 后續使用這個文件中的環境變量設置 docker0 網橋，從而從這個地址段為本節點的所有 Pod 容器分配 IP。
提示：更多flannel參考：《008.Docker Flannel+Etcd分布式網絡部署》。
1 [root@master01 ~]# cd /opt/k8s/work/ 2 [root@master01 work]# mkdir flannel 3 [root@master01 work]# wget https://github.com/coreos/flannel/releases/download/v0.12.0/flannel-v0.12.0-linux-amd64.tar.gz 4 [root@master01 work]# tar -xzvf flannel-v0.12.0-linux-amd64.tar.gz -C flannel
提示：本步驟操作僅需要在master01節點操作。
1.2 分發flannel
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 scp flannel/{flanneld,mk-docker-opts.sh} root@${all_ip}:/opt/k8s/bin/ 7 ssh root@${all_ip} "chmod +x /opt/k8s/bin/*" 8 done
提示：本步驟操作僅需要在master01節點操作。
1.3 創建flannel證書和密鑰
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# cat > flanneld-csr.json <<EOF 3 { 4 "CN": "flanneld", 5 "hosts": [], 6 "key": { 7 "algo": "rsa", 8 "size": 2048 9 }, 10 "names": [ 11 { 12 "C": "CN", 13 "ST": "Shanghai", 14 "L": "Shanghai", 15 "O": "k8s", 16 "OU": "System" 17 } 18 ] 19 } 20 EOF #創建flanneld的CA證書請求文件
提示：本步驟操作僅需要在master01節點操作。
解釋：
該證書只會被 kubectl 當做 client 證書使用，所以 hosts 字段為空。
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# cfssl gencert -ca=/opt/k8s/work/ca.pem \ 3 -ca-key=/opt/k8s/work/ca-key.pem -config=/opt/k8s/work/ca-config.json \ 4 -profile=kubernetes flanneld-csr.json | cfssljson -bare flanneld #生成密鑰和證書
1.4 分發證書和私鑰
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "mkdir -p /etc/flanneld/cert" 7 scp flanneld*.pem root@${all_ip}:/etc/flanneld/cert 8 done
提示：本步驟操作僅需要在master01節點操作。
1.5 寫入集群 Pod 網段信息
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# etcdctl \ 4 --endpoints=${ETCD_ENDPOINTS} \ 5 --ca-file=/opt/k8s/work/ca.pem \ 6 --cert-file=/opt/k8s/work/flanneld.pem \ 7 --key-file=/opt/k8s/work/flanneld-key.pem \ 8 mk ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'
提示：本步驟操作僅需要在master01節點操作。
注意：本步驟只需執行一次。
提示：flanneld 版本 (v0.11.0/v0.12.0) 不支持 etcd v3.4.x，若部署的etcd為3.4.x，則此處etcd寫入pod網段必須使用 etcd v2 API 寫入配置 key 和網段數據，即操作如下：
1 [root@master01 work]# ETCDCTL_API=2 etcdctl \ 2 --endpoints=${ETCD_ENDPOINTS} \ 3 ……
寫入的 Pod 網段 ${CLUSTER_CIDR} 地址段（如 /16）必須小於 SubnetLen，必須與 kube-controller-manager 的 --cluster-cidr 參數值一致。
1.6 創建flanneld的systemd
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# cat > flanneld.service << EOF 4 [Unit] 5 Description=Flanneld overlay address etcd agent 6 After=network.target 7 After=network-online.target 8 Wants=network-online.target 9 After=etcd.service 10 Before=docker.service 11 12 [Service] 13 Type=notify 14 ExecStart=/opt/k8s/bin/flanneld \\ 15 -etcd-cafile=/etc/kubernetes/cert/ca.pem \\ 16 -etcd-certfile=/etc/flanneld/cert/flanneld.pem \\ 17 -etcd-keyfile=/etc/flanneld/cert/flanneld-key.pem \\ 18 -etcd-endpoints=${ETCD_ENDPOINTS} \\ 19 -etcd-prefix=${FLANNEL_ETCD_PREFIX} \\ 20 -iface=${IFACE} \\ 21 -ip-masq 22 ExecStartPost=/opt/k8s/bin/mk-docker-opts.sh -k DOCKER_NETWORK_OPTIONS -d /run/flannel/docker 23 Restart=always 24 RestartSec=5 25 StartLimitInterval=0 26 27 [Install] 28 WantedBy=multi-user.target 29 RequiredBy=docker.service 30 EOF
提示：本步驟操作僅需要在master01節點操作。
解釋：
mk-docker-opts.sh：該腳本將分配給 flanneld 的 Pod 子網段信息寫入 /run/flannel/docker 文件，后續 docker 啟動時使用這個文件中的環境變量配置 docker0 網橋；
flanneld：使用系統缺省路由所在的接口與其它節點通信，對於有多個網絡接口（如內網和公網）的節點，可以用 -iface 參數指定通信接口;
flanneld：運行時需要 root 權限；
-ip-masq: flanneld 為訪問 Pod 網絡外的流量設置 SNAT 規則，同時將傳遞給 Docker 的變量 --ip-masq（/run/flannel/docker 文件中）設置為 false，這樣 Docker 將不再創建 SNAT 規則； Docker 的 --ip-masq 為 true 時，創建的 SNAT 規則比較“暴力”：將所有本節點 Pod 發起的、訪問非 docker0 接口的請求做 SNAT，這樣訪問其他節點 Pod 的請求來源 IP 會被設置為 flannel.1 接口的 IP，導致目的 Pod 看不到真實的來源 Pod IP。 flanneld 創建的 SNAT 規則比較溫和，只對訪問非 Pod 網段的請求做 SNAT。
1.7 分發flannel systemd
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 scp flanneld.service root@${all_ip}:/etc/systemd/system/ 7 done
提示：本步驟操作僅需要在master01節點操作。
二 啟動並驗證
2.1 啟動flannel
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "systemctl daemon-reload && systemctl enable flanneld && systemctl restart flanneld" 7 done
提示：本步驟操作僅需要在master01節點操作。
2.2 檢查flannel啟動
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "systemctl status flanneld|grep Active" 7 done
提示：本步驟操作僅需要在master01節點操作。
2.3 檢查pod網段信息
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# etcdctl \ 4 --endpoints=${ETCD_ENDPOINTS} \ 5 --ca-file=/etc/kubernetes/cert/ca.pem \ 6 --cert-file=/etc/flanneld/cert/flanneld.pem \ 7 --key-file=/etc/flanneld/cert/flanneld-key.pem \ 8 get ${FLANNEL_ETCD_PREFIX}/config #查看集群 Pod 網段(/16) 9 10 [root@master01 ~]# cd /opt/k8s/work 11 [root@master01 work]# source /root/environment.sh 12 [root@master01 work]# etcdctl \ 13 --endpoints=${ETCD_ENDPOINTS} \ 14 --ca-file=/etc/kubernetes/cert/ca.pem \ 15 --cert-file=/etc/flanneld/cert/flanneld.pem \ 16 --key-file=/etc/flanneld/cert/flanneld-key.pem \ 17 ls ${FLANNEL_ETCD_PREFIX}/subnets #查看已分配的 Pod 子網段列表(/24) 18 19 [root@master01 ~]# cd /opt/k8s/work 20 [root@master01 work]# source /root/environment.sh 21 [root@master01 work]# etcdctl \ 22 --endpoints=${ETCD_ENDPOINTS} \ 23 --ca-file=/etc/kubernetes/cert/ca.pem \ 24 --cert-file=/etc/flanneld/cert/flanneld.pem \ 25 --key-file=/etc/flanneld/cert/flanneld-key.pem \ 26 get ${FLANNEL_ETCD_PREFIX}/subnets/10.10.168.0-21 #查看某一 Pod 網段對應的節點 IP 和 flannel 接口地址
提示：本步驟操作僅需要在master01節點操作。
解釋：
10.10.168.0/21 被分配給節點 master01（172.24.8.71）；
VtepMAC 為 worker01 節點的 flannel.1 網卡 MAC 地址。
提示：flanneld 版本 (v0.11.0/v0.12.0) 不支持 etcd v3.4.x，若部署的etcd為3.4.x，則此處etcd寫入pod網段必須使用 etcd v2 API 寫入配置 key 和網段數據，即操作如下：
1 [root@master01 work]# ETCDCTL_API=2 etcdctl \ 2 --endpoints=${ETCD_ENDPOINTS} \ 3 ……
2.4 檢查flannel網絡信息
1 [root@master01 ~]# for all_ip in ${ALL_IPS[@]} 2 do 3 echo ">>> ${all_ip}" 4 ssh root@${all_ip} "/usr/sbin/ip addr show flannel.1 && /usr/sbin/ip addr show docker0" 5 done
提示：本步驟操作僅需要在master01節點操作。
解釋：flannel.1 網卡的地址為分配的 Pod 子網段的第一個 IP（.0），且是 /32 的地址。
1 [root@master01 ~]# ip route show |grep flannel.1 2 10.10.80.0/21 via 10.10.80.0 dev flannel.1 onlink 3 10.10.96.0/21 via 10.10.96.0 dev flannel.1 onlink 4 10.10.176.0/21 via 10.10.176.0 dev flannel.1 onlink 5 10.10.216.0/21 via 10.10.216.0 dev flannel.1 onlink
解釋：
到其它節點 Pod 網段請求都被轉發到 flannel.1 網卡；
flanneld 根據 etcd 中子網段的信息，如 ${FLANNEL_ETCD_PREFIX}/subnets/172.30.32.0-21 ，來決定進請求發送給哪個節點的互聯 IP。
2.5 驗證各節點flannel
在各節點上部署 flannel 后，檢查是否創建了 flannel 接口(名稱可能為 flannel0、flannel.0、flannel.1 等)：
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh root@${all_ip} "/usr/sbin/ip addr show flannel.1 | grep -w inet" 7 done
在各節點上 ping 所有 flannel 接口 IP，確保能通：
1 [root@master01 ~]# cd /opt/k8s/work 2 [root@master01 work]# source /root/environment.sh 3 [root@master01 work]# for all_ip in ${ALL_IPS[@]} 4 do 5 echo ">>> ${all_ip}" 6 ssh ${all_ip} "ping -c 1 10.10.168.0" 7 ssh ${all_ip} "ping -c 1 10.10.96.0" 8 ssh ${all_ip} "ping -c 1 10.10.216.0" 9 ssh ${all_ip} "ping -c 1 10.10.176.0" 10 ssh ${all_ip} "ping -c 1 10.10.80.0" 11 done
提示：本步驟操作僅需要在master01節點操作。