kubeadm部署k8s
使用kubeadm進行k8s的部署主要分為以下幾個步驟：
- 環境預裝: 主要安裝docker、kubeadm等相關工具。
- 集群部署: 集群部署分為single master(單master，只有一個master節點)和高可用HA集群部署兩種模式。主要部署k8s的相關組件。本文將分別做介紹。
- 網絡部署: 部署網絡環境。本文以flannel為例進行部署。
環境預裝
在所有節點上都先要做好環境的准備，這里以debian為例，整理了安裝docker和kubeadm的相關命令。這個里面主要需要解決的是國內源的問題。
## 准備環境
swapoff -a
systemctl stop firewalld
systemctl disable firewalld
echo "net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1" > /etc/sysctl.d/k8s.conf
sysctl -p /etc/sysctl.d/k8s.conf
modprobe br_netfilter
## 更換apt源
mv /etc/apt/sources.list /etc/apt/sources.list.bak
echo "deb http://mirrors.163.com/debian/ stretch main non-free contrib
deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib
deb http://mirrors.163.com/debian/ stretch-backports main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch-updates main non-free contrib
deb-src http://mirrors.163.com/debian/ stretch-backports main non-free contrib
deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib
deb-src http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib" > /etc/apt/sources.list
## 安裝docker
apt-get update
apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg2 \
software-properties-common -y --force-yes
curl -fsSL https://download.docker.com/linux/debian/gpg | apt-key add -
apt-key fingerprint 0EBFCD88
add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/debian \
$(lsb_release -cs) \
stable"
apt-get update
apt-get install docker-ce containerd.io -y
## 使用阿里雲安裝kubeadm
curl -s https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | apt-key add -
cat <<EOF >/etc/apt/sources.list.d/kubernetes.list
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
EOF
apt-get update
apt-get install -y kubelet kubeadm kubectl
apt-mark hold kubelet kubeadm kubectl
## 關閉swap
echo "vm.swappiness=0" >> /etc/sysctl.d/k8s.conf
sysctl -p /etc/sysctl.d/k8s.conf
以上命令在所有節點上都需要執行下。
單master集群部署
單master集群部署是以一個節點作為master節點，其他的節點作為node角色加入到集群中。
首先在master節點上，通過kubeadm進行集群的初始化。
nodename默認會使用hostname，這里使用ip作為nodename，在查看node節點時會更加直觀一些。
這里面基本都使用的是國內的azure提供的鏡像源，鏡像下載速度比較快一些
cat << EOF > /root/kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta1
kind: InitConfiguration
nodeRegistration:
kubeletExtraArgs:
pod-infra-container-image: gcr.azk8s.cn/google_containers/pause-amd64:3.1
---
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
imageRepository: gcr.azk8s.cn/google_containers
kubernetesVersion: v1.14.2
networking:
podSubnet: 10.244.0.0/16
EOF
nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm init --config=kubeadm-config.yaml --apiserver-advertise-address=kubemaster.cluster.local --node-name $nodename > kubeadm.log
在master中查看kubeadm.log中的最后幾行，可以看到其他節點加入集群的命令。
root@i-5i2nhchleypb9h6oofb9h5suy:~# tail -n 5 kubeadm.log
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join kubemaster.cluster.local:6443 --token br1lyz.kgnz5d6apvtcvdlg \
--discovery-token-ca-cert-hash sha256:a8a80875b68ddd8d8e0cd794daa1b81a7893eebceca77c3d5f9074b2dc7e109b
這時切換到其他的node節點，可以直接使用以下命令，加入集群。
nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token bbnth6.tyxpf0ec27r5y5b8 \
--discovery-token-ca-cert-hash sha256:5a9d6d25558c0e5031d4d6a69b555f0db8dd0ac7e798b9f823f7f33352748ae6 --node-name $nodename
node節點全部加入后，即完成節點的部署。
高可用(HA)集群部署
高可用集群目前支持兩種拓撲結構，一種是etcd在master節點中部署，一種是etcd在另外的節點中進行部署。在小規模集群中，其實采用前者就可以了。本文也是采用這種方式。
高可用集群一般需要三個以上的master節點組成，以及若干個node節點組成。其中master節點需要一個負載均衡器進行流量的分發。但是在小規模集群中，額外再部署一個負載均衡器無疑會增加部署的復雜度。這里我使用了一個偷懶的方式，就是不使用真實的負載均衡器，而是使用域名。這里我有三個節點，我在每個節點的/etc/hosts中做了如下配置。這樣kubemaster.cluster.local就可以解析到三個節點上。
11.62.68.3 kubemaster.cluster.local
11.62.68.4 kubemaster.cluster.local
11.62.68.5 kubemaster.cluster.local
這里為了防止連接都壓到同一台上，可以在不同的節點上調整hosts中的配置順序。
這里同前面相似，用以下命令進行集群的初始化。這里特別注意下在配置中同上面最大的區別在於加入了controlPlaneEndpoint: "kubemaster.cluster.local:6443"配置。實現對於集群控制面的負載均衡器的配置。
cat << EOF > /root/kubeadm-config.yaml
apiVersion: kubeadm.k8s.io/v1beta1
kind: InitConfiguration
nodeRegistration:
kubeletExtraArgs:
pod-infra-container-image: gcr.azk8s.cn/google_containers/pause-amd64:3.1
---
apiVersion: kubeadm.k8s.io/v1beta1
kind: ClusterConfiguration
imageRepository: gcr.azk8s.cn/google_containers
kubernetesVersion: v1.14.2
controlPlaneEndpoint: "kubemaster.cluster.local:6443"
networking:
podSubnet: 10.244.0.0/16
EOF
nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs --node-name $nodename > kubeadm.log
在完成初始化后，可以查看相關日志。可以看到同單master部署模式的情況不同，高可用集群中有兩個命令。
root@i-5i2nhchleypb9h6oofb9h5suy:~# tail -n 15 kubeadm.log
You can now join any number of the control-plane node running the following command on each as root:
kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
--discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb \
--experimental-control-plane --certificate-key b73eba61d73c35ca4de43b9dd10a7db88023cbd767c98cc1d19489829ea0fc03
Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
"kubeadm init phase upload-certs --experimental-upload-certs" to reload certs afterward.
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
--discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb
第一個是加入master的方式。也就是說，通過第一個命令加入后，該節點將會作為master加入到集群中。這里我們使用該命令即可將節點加入到master中，作為master的節點之一。
nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token pcumbv.qwa7uwzr7m7cijxy \
--discovery-token-ca-cert-hash sha256:bae4c6e70cc92cc6cba66bc96d48bf0c5a45fddf83e90b89eea519fc4bad16ac \
--experimental-control-plane --certificate-key 33f387801d51c0a743353357b138cf4ad70fd3acaa7a6ccec9835627773f1cb7 --node-name $nodename
當然，第二個同單master模式就相似了。
nodename=`ip -4 route get 8.8.8.8|head -n 1|awk -F ' ' '{print $NF}'`
echo $nodename
kubeadm join kubemaster.cluster.local:6443 --token woebfo.mwj26odtpe2q0taj \
--discovery-token-ca-cert-hash sha256:a09c6ac9ff8da73e0d5e19cea1d0df524a7e289ef7b144a6ede2b0052da87edb --node-name $nodename
master節點准備
在master節點上可以做一些相關的准備，方便后面使用kubectl等命令。
systemctl enable kubelet.service
## 為kubectl准備config
mkdir -p $HOME/.kube
cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
## 去掉master的污點，使得master節點也可以創建容器
## 該命令可選。如果不想讓master執行node的角色，也可以不執行
kubectl taint nodes --all node-role.kubernetes.io/master-
網絡安裝
這里使用flannel網絡。
mkdir -p ~/k8s/
cd ~/k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
## 這里使用quay.azk8s.cn進行進行加速。該命令可選。
sed -i "s/quay.io/quay.azk8s.cn/g" kube-flannel.yml
kubectl apply -f kube-flannel.yml
測試
這里我們嘗試在每個節點創建一個容器，然后進行集群部署驗證。這里給了一個樣例。
cat << EOF > /root/daemonset.yaml
apiVersion: extensions/v1beta1
kind: DaemonSet
metadata:
name: debian
spec:
template:
metadata:
labels:
debian: debian
spec:
containers:
- name: debian
image: dockerhub.azk8s.cn/library/debian
command: ["sleep", "999999d"]
resources:
requests:
cpu: 100m
memory: 100Mi
EOF
kubectl create -f /root/daemonset.yaml
這里我寫了一個小工具可以自動進行各個節點的容器之間的網絡驗證，自動統計哪些節點還沒有正常運行。后面我會再開源出來放到博客里。
清理命令
有時候安裝失敗或者清理環境時一些常用的命令，也整理在了下面。
清理環境
該命令主要用於將kubeadm安裝的本節點恢復到安裝前。需要輸入yes確認。該命令適用於master和node節點。
kubeadm reset
清理cni0網橋
重復安裝有時候會導致cni0的配置錯誤，可以通過刪除cni0網橋，然后重新創建實現故障恢復。
apt-get install bridge-utils -y
ifconfig cni0 down
brctl delbr cni0
systemctl restart kubelet
清理iptables
kubeadm清理時不會清理iptables，里面會有很多冗余的規則，可以使用該命令清理。該命令慎用。
iptables -F && iptables -t nat -F && iptables -t mangle -F && iptables -X
清理bridge的殘余信息
在使用flannel時，有時mac信息過時沒能更新，導致無法將消息轉發到目標機器的flannel.1。可以在檢查后，通過bridge命令清理過期的mac信息。
flannel的具體原理和排障可以參考我之前的博客，《flannel vxlan工作基本原理及常見排障思路》。其中介紹更為詳細。
route -n
arp -e
bridge fdb show
bridge fdb del 76:21:60:e5:ea:0b dev flannel.1
參考資料
- Creating a single master cluster with kubeadm https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/create-cluster-kubeadm/
- Options for Highly Available topology https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/ha-topology/
- Creating Highly Available clusters with kubeadm https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/high-availability/