環境版本說明：
- 三台vmware虛擬機，系統版本CentOS7.6。
- Kubernetes 1.16.0，當前最新版。
- flannel v0.11
- docker 18.09
使用kubeadm可以簡單的搭建一套k8s集群環境，而不用關注安裝部署的細節，而且現在k8s的版本更新頻率很快，所以這種方法十分推薦。
相關准備
注：本節相關操作要在所有節點上執行。
硬件環境
使用三台vmware虛擬機，配置網絡，並保證可以聯網。
- k8s-master 4G 4核 CentOS7 192.168.10.20
- k8s-node1 2G 2核 CentOS7 192.168.10.21
- k8s-node2 2G 2核 CentOS7 192.168.10.22
主機划分
- k8s-master作為集群管理節點：etcd kubeadm kube-apiserver kube-scheduler kube-controller-manager kubelet flanneld docker
- k8s-node1作為工作節點：kubeadm kubelet flanneld docker
- k8s-node2作為工作節點：kubeadm kubelet flanneld docker
准備工作
安裝必要的rpm軟件：
yum install -y wget vim net-tools epel-release
關閉防火牆
systemctl disable firewalld systemctl stop firewalld 關閉selinux
# 臨時禁用selinux setenforce 0 # 永久關閉 修改/etc/sysconfig/selinux文件設置 sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 禁用交換分區
swapoff -a
# 永久禁用，打開/etc/fstab注釋掉swap那一行。 sed -i 's/.*swap.*/#&/' /etc/fstab 修改 /etc/hosts
cat <<EOF >> /etc/host
192.168.10.20 k8s-master
192.168.10.21 k8s-node1
192.168.10.22 k8s-node2
EOF
修改內核參數
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system
安裝docker18.09
配置yum源
## 配置默認源 ## 備份 mv /etc/yum.repos.d/CentOS-Base.repo /etc/yum.repos.d/CentOS-Base.repo.backup ## 下載阿里源 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo ## 刷新 yum makecache fast ## 配置k8s源 cat <<EOF > /etc/yum.repos.d/kubernetes.repo [kubernetes] name=Kubernetes baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64 enabled=1 gpgcheck=0 EOF ## 重建yum緩存 yum clean all yum makecache fast yum -y update 安裝docker
下載docker的yum源文件
yum -y install yum-utils device-mapper-persistent-data lvm2
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
這里指定docker版本，可以先查看支持的版本
[root@localhost ~]# yum list docker-ce --showduplicates |sort -r * updates: mirrors.aliyun.com Loading mirror speeds from cached hostfile Loaded plugins: fastestmirror * extras: mirrors.aliyun.com * epel: hkg.mirror.rackspace.com docker-ce.x86_64 3:19.03.2-3.el7 docker-ce-stable docker-ce.x86_64 3:19.03.1-3.el7 docker-ce-stable docker-ce.x86_64 3:19.03.0-3.el7 docker-ce-stable docker-ce.x86_64 3:18.09.9-3.el7 docker-ce-stable ... * base: mirrors.aliyun.com 目前最新版本為19.03，指定下載18.09
yum install -y docker-ce-18.09.9-3.el7
systemctl enable docker systemctl start docker 修改docker的啟動參數
cat > /etc/docker/daemon.json <<EOF
{
"registry-mirrors": ["https://xxx.mirror.aliyuncs.com"], "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "storage-opts": [ "overlay2.override_kernel_check=true" ] } EOF systemctl restart docker 安裝k8s
管理節點配置
先在k8s-master上安裝管理節點
下載kubeadm，kubelet
yum install -y kubeadm kubelet
初始化kubeadm
這里不直接初始化，因為國內用戶不能直接拉取相關的鏡像，所以這里想查看需要的鏡像版本
[root@k8s-master ~]# kubeadm config images list k8s.gcr.io/kube-apiserver:v1.16.0 k8s.gcr.io/kube-controller-manager:v1.16.0 k8s.gcr.io/kube-scheduler:v1.16.0 k8s.gcr.io/kube-proxy:v1.16.0 k8s.gcr.io/pause:3.1 k8s.gcr.io/etcd:3.3.15-0 k8s.gcr.io/coredns:1.6.2 根據需要的版本，直接拉取國內鏡像，並修改tag
# vim kubeadm.sh #!/bin/bash ## 使用如下腳本下載國內鏡像，並修改tag為google的tag set -e KUBE_VERSION=v1.16.0 KUBE_PAUSE_VERSION=3.1 ETCD_VERSION=3.3.15-0 CORE_DNS_VERSION=1.6.2 GCR_URL=k8s.gcr.io ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers images=(kube-proxy:${KUBE_VERSION} kube-scheduler:${KUBE_VERSION} kube-controller-manager:${KUBE_VERSION} kube-apiserver:${KUBE_VERSION} pause:${KUBE_PAUSE_VERSION} etcd:${ETCD_VERSION} coredns:${CORE_DNS_VERSION}) for imageName in ${images[@]} ; do docker pull $ALIYUN_URL/$imageName docker tag $ALIYUN_URL/$imageName $GCR_URL/$imageName docker rmi $ALIYUN_URL/$imageName done 運行腳本，拉取鏡像
sh ./kubeadm.sh
master節點執行
sudo kubeadm init \
--apiserver-advertise-address 192.168.10.20 \
--kubernetes-version=v1.16.0 \
--pod-network-cidr=10.244.0.0/16
注：這里的pod-network-cidr，最好不要改動，和以下的步驟是關聯的。
結果返回
...
...
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config ... ## 添加節點需要執行以下命令，可以使用命令 kubeadm token create --print-join-command 來獲取 kubeadm join 192.168.10.20:6443 --token lixsl8.v1auqmf91ty0xl0k \ --discovery-token-ca-cert-hash sha256:c3f92a6ed9149ead327342f48a545e7e127a455d5b338129feac85893d918a55 如果是要安裝多個master節點，則初始化命令使用
kubeadm init --apiserver-advertise-address 192.168.10.20 --control-plane-endpoint 192.168.10.20 --kubernetes-version=v1.16.0 --pod-network-cidr=10.244.0.0/16 --upload-certs
添加master節點使用命令:
kubeadm join 192.168.10.20:6443 --token z34zii.ur84appk8h9r3yik --discovery-token-ca-cert-hash sha256:dae426820f2c6073763a3697abeb14d8418c9268288e37b8fc25674153702801 --control-plane --certificate-key 1b9b0f1fdc0959a9decef7d812a2f606faf69ca44ca24d2e557b3ea81f415afe
注：這里的token會不同，不要直接復制。kubeadm init成功后會輸出添加master節點的命令
工作節點配置
下載kubeadm kubelet
三台節點都要運行
yum install -y kubeadm kubelet
添加節點
三台節點都要運行，這里先忽略錯誤
kubeadm join 192.168.10.20:6443 --token lixsl8.v1auqmf91ty0xl0k \
--discovery-token-ca-cert-hash sha256:c3f92a6ed9149ead327342f48a545e7e127a455d5b338129feac85893d918a55 \
--ignore-preflight-errors=all
如果添加節點失敗，或是想重新添加，可以使用命令
kubeadm reset
注：不要在輕易master上使用，它會刪除所有kubeadm配置
這時在節點上就可以使用命令查看添加的節點信息了
[root@k8s-master ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master NotReady master 45m v1.16.0 k8s-node1 NotReady <none> 26s v1.16.0 k8s-node2 NotReady <none> 12s v1.16.0 但節點的狀態就是 NotReady，還需要一些操作
安裝flanneld
在master上操作，拷貝配置，令kubectl可用
mkdir -p $HOME/.kube sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config sudo chown $(id -u):$(id -g) $HOME/.kube/config 下載flannel配置文件
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
因為kube-flannel.yml文件中使用的鏡像為quay.io的，國內無法拉取，所以同樣的先從國內源上下載，再修改tag，腳本如下
# vim flanneld.sh #!/bin/bash set -e FLANNEL_VERSION=v0.11.0 # 在這里修改源 QUAY_URL=quay.io/coreos QINIU_URL=quay-mirror.qiniu.com/coreos images=(flannel:${FLANNEL_VERSION}-amd64 flannel:${FLANNEL_VERSION}-arm64 flannel:${FLANNEL_VERSION}-arm flannel:${FLANNEL_VERSION}-ppc64le flannel:${FLANNEL_VERSION}-s390x) for imageName in ${images[@]} ; do docker pull $QINIU_URL/$imageName docker tag $QINIU_URL/$imageName $QUAY_URL/$imageName docker rmi $QINIU_URL/$imageName done 運行腳本，這個腳本需要在每個節點上執行
sh flanneld.sh
安裝flanneld
kubectl apply -f kube-flanneld.yaml
flanneld默認安裝在kube-system Namespace中，使用以下命令查看:
# kubectl -n kube-system get pods NAME READY STATUS RESTARTS AGE coredns-5644d7b6d9-h9bxt 0/1 Pending 0 57m coredns-5644d7b6d9-pkhls 0/1 Pending 0 57m etcd-k8s-master 1/1 Running 0 57m kube-apiserver-k8s-master 1/1 Running 0 57m kube-controller-manager-k8s-master 1/1 Running 0 57m kube-flannel-ds-amd64-c4hnf 1/1 Running 1 38s kube-flannel-ds-amd64-djzmx 1/1 Running 0 38s kube-flannel-ds-amd64-mdg8b 1/1 Running 1 38s kube-flannel-ds-amd64-tjxql 0/1 Terminating 0 5m34s kube-proxy-4n5dr 0/1 ErrImagePull 0 13m kube-proxy-dc68d 1/1 Running 0 57m kube-proxy-zplgt 0/1 ErrImagePull 0 13m kube-scheduler-k8s-master 1/1 Running 0 57m 出現錯誤，原因是兩個工作節點不能拉取pause和kube-proxy鏡像，可以直接從master上打包，在node上使用
## master上執行 docker save -o pause.tar k8s.gcr.io/pause:3.1 docker save -o kube-proxy.tar k8s.gcr.io/kube-proxy ## node上執行 docker load -i pause.tar docker load -i kube-proxy.tar 重新安裝flanneld
kubectl delete -f kube-flannel.yml
kubectl create -f kube-flannel.yml
修改kubelet
使用kubeadm添加node后，節點一直處於NotReady狀態，報錯信息為：
runtime network not ready: NetworkReady=false reason:NetworkPluginNotReady message:docker: network plugin is not ready: cni config uninitialized Addresses: 解決方式是修改/var/lib/kubelet/kubeadm-flags.env文件，刪除參數 --network-plugin=cni
cat << EOF > /var/lib/kubelet/kubeadm-flags.env
KUBELET_KUBEADM_ARGS="--cgroup-driver=systemd --pod-infra-container-image=k8s.gcr.io/pause:3.1" EOF systemctl restart kubelet [root@k8s-master ~]# kubectl get nodes NAME STATUS ROLES AGE VERSION k8s-master Ready master 79m v1.16.0 k8s-node1 Ready <none> 34m v1.16.0 k8s-node2 Ready <none> 34m v1.16.0 錯誤解決
關於錯誤cni config uninitialized Addresses，這里之前是直接刪除參數--network-plugin=cni，但這樣只能讓節點狀態修改為 ready，但是在Pod之間網絡依然不可用。
正確的解決方法：修改kube-flannel.yaml，在111行添加參數cniVersion：
vim kube-flanneld.yaml
{
"name": "cbr0", "cniVersion": "0.3.1", .... 安裝flannel
## 如果之前安裝了，先刪除 ## kubectl delete -f kube-flannel.yaml kubectl apply -f kube-flannel.yaml