記錄替換calico為flannel的過程

背景

之前一內網測試環境，因想嘗試下使用calico，所以安裝calico作為kubernetes的網絡插件，最近發現kubelet日志頻繁報錯，大致格式如下：

StopPodSandbox $SHA from runtime service failed: rpc error: code = 2 desc = NetworkPlugin cni failed to teardown pod <pod-name> network: CNI failed to retrieve network namespace path: Error: No such container: $SHA

 

雖然是測試環境，不影響使用，但本着解決問題的態度，google了一把，網上還真有類似的問題反饋：

Network namespace path is nil when using hostnetwork. Consequence: The teardown in such a case gives out error messages. Fix: Upstream fix - do not let CNI manage containers with hostnetwork=true.

參考：https://bugzilla.redhat.com/show_bug.cgi?id=1507257

 

總結的原因就是CNI的管理容器不能設置hostnetwork=true：

之前啟動calico的yaml文件，由於是參考官方的hosted安裝的 安裝方式（官方鏈接），所以要改為其它的安裝方式，這里未去試驗其它的方式。索性直接使用flannel替換得了，calico弄着也夠復雜的。

 

替換過程

 1. 卸載calico

#!/bin/bash
kubectl --namespace=kube-system delete ds calico-node
kubectl --namespace=kube-system delete deploy calico-policy-controller
kubectl --namespace=kube-system delete sa calico-node
kubectl --namespace=kube-system delete sa calico-policy-controller
kubectl --namespace=kube-system delete cm calico-config
kubectl --namespace=kube-system delete secret calico-etcd-secrets

2.刪除kubelet啟動服務中，有關calico的配置。刪除后重啟kubelet

 --network-plugin=cni \
  --cni-conf-dir=$cni_conf\
  --cni-bin-dir=$cni_bin_dir \

 

3.執行命令：ifconfig tunl0 down

4.以下開始安裝flannel

　　

項目地址：https://github.com/coreos/flannel
//下載的版本是v0.7.1
wget https://github.com/coreos/flannel/releases/download/v0.7.1/flannel-v0.7.1-linux-amd64.tar.gz
//解壓
tar xf flannel-v0.7.1-linux-amd64.tar.gz

　　

5.flannel啟動命令

#!/bin/bash
flanneld --etcd-endpoints https://172.17.58.1:2379  \
         --etcd-cafile=/etc/kubernetes-cluster/ssl/ca.pem \
         --etcd-certfile=/etc/kubernetes-cluster/ssl/kubernetes.pem \
         --etcd-keyfile=/etc/kubernetes-cluster/ssl/kubernetes-key.pem >> /tmp/flanneld.log 2>&1 &

　　

6.設置etcd集群

//為操作etcd方便些，制作一個腳本
   echo '
   etcdctl \
   --ca-file=/etc/kubernetes-cluster/ssl/ca.pem \
   --cert-file=/etc/kubernetes-cluster/ssl/kubernetes.pem \
   --key-file=/etc/kubernetes-cluster/ssl/kubernetes-key.pem \
   --endpoints=https://127.0.0.1:2379 $@' > /usr/local/bin/etcdctl.sh


//etcd中創建存放子網段的目錄
etcdctl.sh etcdctl.sh mkdir /coreos.com/network/

//設置子網段
etcdctl.sh set /coreos.com/network/config '{"Network":"10.10.0.0/16"}'

 

7.經過以下步驟，flannel會生成subnet.env文件

cat /var/run/flannel/subnet.env
FLANNEL_NETWORK=10.10.0.0/16
FLANNEL_SUBNET=10.10.72.1/24
FLANNEL_MTU=1450
FLANNEL_IPMASQ=false

　　

8.修改docker的網關地址為：10.10.72.1

cat > /etc/default/docker << EOF
DOCKER_OPTS="-H tcp://127.0.0.1:4243 -H unix:///var/run/docker.sock --bip=10.10.72.1/24"
EOF

9.重啟docker,收工