碼上歡樂
相關內容    簡體    繁體

附016.Kubernetes_v1.17.4高可用部署

本文轉載自   查看原文   2020-06-16 11:44   522    kubeadm/ metrics/ 集群相關/ dashboard/ 高可用/ Kubernetes

一 kubeadm介紹

1.1 概述

參考《附003.Kubeadm部署Kubernetes》。

1.2 kubeadm功能

參考《附003.Kubeadm部署Kubernetes》。

二 部署規划

2.1 節點規划

節點主機名
IP
類型
運行服務
master01
172.24.8.71
Kubernetes master節點
docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
master02
172.24.8.72
Kubernetes master節點
docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
master03
172.24.8.73
Kubernetes master節點
docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、metrics、calico
worker01
172.24.8.74
Kubernetes node節點1
docker、kubelet、proxy、calico
worker02
172.24.8.75
Kubernetes node節點2
docker、kubelet、proxy、calico
worker03
172.24.8.76
Kubernetes node節點3
docker、kubelet、proxy、calico
Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master節點組件和Etcd組件，工作節點通過負載均衡連接到各Master。HA有通常有如下兩種架構：
高可用架構一：etcd與Master節點組件混布在一起。
clipboard
高可用架構二：使用獨立的Etcd集群，不與Master節點混布。
clipboard
釋義：
兩種方式的相同之處在於都提供了控制平面的冗余，實現了集群高可以用，區別在於：
  • Etcd混布方式
  1. 所需機器資源少
  2. 部署簡單，利於管理
  3. 容易進行橫向擴展
  4. 風險大，一台宿主機掛了，master和etcd就都少了一套，集群冗余度受到的影響比較大。
  • Etcd獨立部署方式：
  1. 所需機器資源多（按照Etcd集群的奇數原則，這種拓撲的集群關控制平面最少需要6台宿主機了）
  2. 部署相對復雜，要獨立管理etcd集群和和master集群
  3. 解耦了控制平面和Etcd，集群風險小健壯性強，單獨掛了一台master或etcd對集群的影響很小
提示：本實驗使用高可用架構一實現Kubernetes的高可用。

2.2 初始准備

[root@master01 ~]# vi k8sinit.sh 
  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: k8sinit.sh
  4 # Author: xhy
  5 # Create Date: 2019-06-23 22:19
  6 # Modify Author: xhy
  7 # Modify Date: 2020-03-16 20:44
  8 # Version: 
  9 #***************************************************************#
 10 # Initialize the machine. This needs to be executed on every machine.
 11 
 12 # Add host domain name.
 13 cat >> /etc/hosts << EOF
 14 172.24.8.71 master01
 15 172.24.8.72 master02
 16 172.24.8.73 master03
 17 172.24.8.74 worker01
 18 172.24.8.75 worker02
 19 172.24.8.76 worker03
 20 EOF
 21 
 22 # Add docker user
 23 useradd -m docker
 24 
 25 # Disable the SELinux.
 26 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 27 
 28 # Turn off and disable the firewalld.
 29 systemctl stop firewalld
 30 systemctl disable firewalld
 31 
 32 # Modify related kernel parameters & Disable the swap.
 33 cat > /etc/sysctl.d/k8s.conf << EOF
 34 net.ipv4.ip_forward = 1
 35 net.bridge.bridge-nf-call-ip6tables = 1
 36 net.bridge.bridge-nf-call-iptables = 1
 37 net.ipv4.tcp_tw_recycle = 0
 38 vm.swappiness = 0
 39 vm.overcommit_memory = 1
 40 vm.panic_on_oom = 0
 41 net.ipv6.conf.all.disable_ipv6 = 1
 42 EOF
 43 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
 44 swapoff -a
 45 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 46 modprobe br_netfilter
 47 
 48 # Add ipvs modules
 49 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 50 #!/bin/bash
 51 modprobe -- ip_vs
 52 modprobe -- ip_vs_rr
 53 modprobe -- ip_vs_wrr
 54 modprobe -- ip_vs_sh
 55 modprobe -- nf_conntrack_ipv4
 56 EOF
 57 chmod 755 /etc/sysconfig/modules/ipvs.modules
 58 bash /etc/sysconfig/modules/ipvs.modules
 59 
 60 # Install rpm
 61 yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget
 62 
 63 # Install Docker Compose
 64 sudo curl -L "http://down.linuxsb.com:8888/docker/compose/releases/download/1.25.4/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
 65 sudo chmod +x /usr/local/bin/docker-compose
 66 
 67 # Update kernel
 68 rpm --import http://down.linuxsb.com:8888/RPM-GPG-KEY-elrepo.org
 69 rpm -Uvh http://down.linuxsb.com:8888/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
 70 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml
 71 sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etc/default/grub
 72 grub2-mkconfig -o /boot/grub2/grub.cfg
 73 yum update -y
 74 
 75 # Reboot the machine.
 76 # reboot
 77
提示：對於某些特性，可能需要升級內核，內核升級操作見《018.Linux升級內核》。

2.3 互信配置

為了更方便遠程分發文件和執行命令，本實驗配置master節點到其它節點的 ssh 信任關系。 
  1 [root@master01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
  2 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master01
  3 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master02
  4 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@master03
  5 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker01
  6 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker02
  7 [root@master01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@worker03
  8
提示：此操作僅需要在master01節點操作。

2.4 其他准備

[root@master01 ~]# vi environment.sh 
  1 #!/bin/sh
  2 #****************************************************************#
  3 # ScriptName: environment.sh
  4 # Author: xhy
  5 # Create Date: 2020-03-16 23:11
  6 # Modify Author: xhy
  7 # Modify Date: 2020-03-16 23:11
  8 # Version: 
  9 #***************************************************************#
 10 # 集群 MASTER 機器 IP 數組
 11 export MASTER_IPS=(172.24.8.71 172.24.8.72 172.24.8.73)
 12 
 13 # 集群 MASTER IP 對應的主機名數組
 14 export MASTER_NAMES=(master01 master02 master03)
 15 
 16 # 集群 NODE 機器 IP 數組
 17 export NODE_IPS=(172.24.8.74 172.24.8.75 172.24.8.76)
 18 
 19 # 集群 NODE IP 對應的主機名數組
 20 export NODE_NAMES=(worker01 worker02 worker03)
 21 
 22 # 集群所有機器 IP 數組
 23 export ALL_IPS=(172.24.8.71 172.24.8.72 172.24.8.73 172.24.8.74 172.24.8.75 172.24.8.76)
 24 
 25 # 集群所有IP 對應的主機名數組
 26 export ALL_NAMES=(master01 master02 master03 worker01 worker02 worker03)
 27
[root@master01 ~]# source environment.sh
[root@master01 ~]# chmod +x environment.sh
[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
scp -rp k8sinit.sh root@${all_ip}:/root/
ssh root@${all_ip} "bash /root/k8sinit.sh"
done

三 集群部署

3.1 Docker安裝

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "yum -y install yum-utils device-mapper-persistent-data lvm2"
ssh root@${all_ip} "yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo"
ssh root@${all_ip} "yum -y install docker-ce"
ssh root@${all_ip} "mkdir /etc/docker"
ssh root@${all_ip} "cat > /etc/docker/daemon.json <<EOF
{
\"registry-mirrors\": [\"https://dbzucv6w.mirror.aliyuncs.com\"],
\"exec-opts\": [\"native.cgroupdriver=systemd\"],
\"log-driver\": \"json-file\",
\"log-opts\": {
\"max-size\": \"100m\"
},
\"storage-driver\": \"overlay2\",
\"storage-opts\": [
\"overlay2.override_kernel_check=true\"
]
}
EOF"
ssh root@${all_ip} "systemctl restart docker"
ssh root@${all_ip} "systemctl enable docker"
ssh root@${all_ip} "systemctl status docker"
ssh root@${all_ip} "iptables -nvL"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。

3.2 相關組件包

需要在每台機器上都安裝以下的軟件包：
kubeadm: 用來初始化集群的指令；
kubelet: 在集群中的每個節點上用來啟動 pod 和 container 等；
kubectl: 用來與集群通信的命令行工具。
kubeadm不能安裝或管理 kubelet 或 kubectl ，所以得保證他們滿足通過 kubeadm 安裝的 Kubernetes 控制層對版本的要求。如果版本沒有滿足要求，可能導致一些意外錯誤或問題。
具體相關組件安裝見《附001.kubectl介紹及使用》。
提示：Kubernetes 1.17版本所有兼容相應組件的版本參考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.17.md。

3.3 正式安裝

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF"
ssh root@${all_ip} "yum install -y kubeadm-1.17.4-0.x86_64 kubelet-1.17.4-0.x86_64 kubectl-1.17.4-0.x86_64 --disableexcludes=kubernetes"
ssh root@${all_ip} "systemctl enable kubelet"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝，同時此時不需要啟動kubelet，初始化的過程中會自動啟動的，如果此時啟動了會出現報錯，忽略即可。
說明：同時安裝了cri-tools, kubernetes-cni, socat三個依賴：
socat：kubelet的依賴；
cri-tools：即CRI(Container Runtime Interface)容器運行時接口的命令行工具。

四 部署高可用組件I

4.1 Keepalived安裝

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "yum -y install gcc gcc-c++ make libnl libnl-devel libnfnetlink-devel openssl-devel"
ssh root@${master_ip} "wget http://down.linuxsb.com:8888/software/keepalived-2.0.20.tar.gz"
ssh root@${master_ip} "tar -zxvf keepalived-2.0.20.tar.gz"
ssh root@${master_ip} "cd keepalived-2.0.20/ && ./configure --sysconf=/etc --prefix=/usr/local/keepalived && make && make install"
ssh root@${master_ip} "systemctl enable keepalived && systemctl start keepalived"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動化安裝。

4.2 創建配置文件

[root@master01 ~]# git clone https://github.com/cookeem/kubeadm-ha #拉取github的高可用自動配置腳本
[root@master01 ~]# cd kubeadm-ha/
[root@master01 kubeadm-ha]# vi create-config.sh #其他部分保持默認 
  1 #!/bin/bash
  2 
  3 #######################################
  4 # set variables below to create the config files, all files will create at ./config directory
  5 #######################################
  6 
  7 # master keepalived virtual ip address
  8 export K8SHA_VIP=172.24.8.71
  9 
 10 # master01 ip address
 11 export K8SHA_IP1=172.24.8.72
 12 
 13 # master02 ip address
 14 export K8SHA_IP2=172.24.8.73
 15 
 16 # master03 ip address
 17 export K8SHA_IP3=172.24.8.74
 18 
 19 # master keepalived virtual ip hostname
 20 export K8SHA_VHOST=master
 21 
 22 # master01 hostname
 23 export K8SHA_HOST1=master01
 24 
 25 # master02 hostname
 26 export K8SHA_HOST2=master02
 27 
 28 # master03 hostname
 29 export K8SHA_HOST3=master03
 30 
 31 # master01 network interface name
 32 export K8SHA_NETINF1=eth0
 33 
 34 # master02 network interface name
 35 export K8SHA_NETINF2=eth0
 36 
 37 # master03 network interface name
 38 export K8SHA_NETINF3=eth0
 39 
 40 # keepalived auth_pass config
 41 export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d
 42 
 43 # calico reachable ip address
 44 export K8SHA_CALICO_REACHABLE_IP=172.24.8.2
 45 
 46 # kubernetes CIDR pod subnet
 47 export K8SHA_CIDR=10.10.0.0
 48
[root@master01 kubeadm-ha]# bash create-config.sh
解釋：如上僅需Master01節點操作。執行腳本后會生產如下配置文件清單：
執行create-config.sh腳本后，會自動生成以下配置文件：
  • kubeadm-config.yaml：kubeadm初始化配置文件，位於kubeadm-ha代碼的./根目錄
  • keepalived：keepalived配置文件，位於各個master節點的/etc/keepalived目錄
  • nginx-lb：nginx-lb負載均衡配置文件，位於各個master節點的/root/nginx-lb目錄
  • calico.yaml：calico網絡組件部署文件，位於kubeadm-ha代碼的./calico目錄
[root@master01 kubeadm-ha]# vi kubeadm-config.yaml #完善配置 
  1 ---
  2 apiVersion: kubeadm.k8s.io/v1beta1
  3 kind: ClusterConfiguration
  4 kubernetesVersion: v1.17.4				#設置安裝版本
  5 apiServerCertSANs:
  6 - master01
  7 - master02
  8 - master03
  9 - master
 10 - 172.24.8.71
 11 - 172.24.8.72
 12 - 172.24.8.73
 13 - 172.24.8.254
 14 controlPlaneEndpoint: "172.24.8.254:16443"		#設置相關地址
 15 networking:
 16   # This CIDR is a Calico default. Substitute or remove for your CNI provider.
 17   podSubnet: "10.10.0.0/16"				#設置Pod網段
 18   serviceSubnet: "192.168.0.0/16"			#設置svc網段
 19 ---
 20 apiVersion: kubeproxy.config.k8s.io/v1alpha1
 21 kind: KubeProxyConfiguration
 22 mode: ipvs
 23
提示：如上僅需Master01節點操作，更多config文件參考：https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2。

4.3 啟動Keepalived

[root@master01 ~]# cat /etc/keepalived/keepalived.conf
[root@master01 ~]# cat /etc/keepalived/check_apiserver.sh 確認Keepalived配置
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "systemctl restart keepalived.service"
ssh root@${master_ip} "systemctl status keepalived.service"
ssh root@${master_ip} "ping -c1 172.24.8.254"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。

4.4 啟動Nginx

執行create-config.sh腳本后，nginx-lb的配置文件會自動復制到各個master的節點的/root/nginx-lb目錄
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "cd /root/nginx-lb/ && docker-compose up -d"
ssh root@${master_ip} "docker-compose ps"
done
提示：如上僅需Master01節點操作，從而實現所有節點自動啟動服務。

五 初始化集群-Master

5.1 拉取鏡像

[root@master01 ~]# kubeadm --kubernetes-version=v1.17.4 config images list #列出所需鏡像
[root@master01 ~]# docker login --username=x120952576@126.com registry.aliyuncs.com
[root@master01 ~]# vi down.sh 
  1 #!/bin/bash
  2 # 使用如下腳本下載國內鏡像，並修改tag為google的tag
  3 KUBE_VERSION=v1.17.4
  4 KUBE_PAUSE_VERSION=3.1
  5 ETCD_VERSION=3.4.3-0
  6 CORE_DNS_VERSION=1.6.5
  7 GCR_URL=k8s.gcr.io
  8 ALIYUN_URL=registry.cn-hangzhou.aliyuncs.com/google_containers
  9 
 10 images=(kube-proxy:${KUBE_VERSION}
 11 kube-scheduler:${KUBE_VERSION}
 12 kube-controller-manager:${KUBE_VERSION}
 13 kube-apiserver:${KUBE_VERSION}
 14 pause:${KUBE_PAUSE_VERSION}
 15 etcd:${ETCD_VERSION}
 16 coredns:${CORE_DNS_VERSION})
 17 
 18 for imageName in ${images[@]} ; do
 19   docker pull $ALIYUN_URL/$imageName
 20   docker tag $ALIYUN_URL/$imageName $GCR_URL/$imageName
 21   docker rmi $ALIYUN_URL/$imageName
 22 done
 23
[root@master01 ~]# chmod u+x down.sh
[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
scp -rp down.sh root@${master_ip}:/root/
ssh root@${master_ip} "bash down.sh &"
done
提示：如上僅需Master01節點操作，從而實現所有Master節點自動拉取鏡像。
[root@master01 ~]# docker images #確認驗證
clipboard

5.2 Master上初始化

[root@master01 ~]# kubeadm init --config=/root/kubeadm-ha/kubeadm-config.yaml --upload-certs
clipboard
保留如下命令用於后續節點添加： 
  1 You can now join any number of the control-plane node running the following command on each as root:
  2 
  3   kubeadm join 172.24.8.254:16443 --token r0awcu.lqd10ud79onpnti7 \
  4     --discovery-token-ca-cert-hash sha256:b010761631964b9ff381eb2dfcdd0708acd50b544782c3ed241e303f67cbe4ab \
  5     --control-plane --certificate-key b238ee75df1efb88880f2453e1e6e1afb7e774b57817eb3fb15a4a9e578e92fd
  6 
  7 Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
  8 As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
  9 "kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
 10 
 11 Then you can join any number of worker nodes by running the following on each as root:
 12 
 13 kubeadm join 172.24.8.254:16443 --token r0awcu.lqd10ud79onpnti7 \
 14     --discovery-token-ca-cert-hash sha256:b010761631964b9ff381eb2dfcdd0708acd50b544782c3ed241e303f67cbe4ab
 15
注意：如上token具有默認24小時的有效期，token和hash值可通過如下方式獲取：
kubeadm token list
如果 Token 過期以后，可以輸入以下命令，生成新的 Token
kubeadm token create openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
[root@master01 ~]# mkdir -p $HOME/.kube
[root@master01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master01 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF #設置KUBECONFIG環境變量
[root@master01 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master01 ~]# source ~/.bashrc
附加：初始化過程大致步驟如下：
  • [kubelet-start] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”
  • [certificates]生成相關的各種證書
  • [kubeconfig]生成相關的kubeconfig文件
  • [bootstraptoken]生成token記錄下來，后邊使用kubeadm join往集群中添加節點時會用到
提示：初始化僅需要在master01上執行，若初始化異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

5.3 添加其他master節點

[root@master02 ~]# kubeadm join 172.24.8.254:16443 --token r0awcu.lqd10ud79onpnti7 \
--discovery-token-ca-cert-hash sha256:b010761631964b9ff381eb2dfcdd0708acd50b544782c3ed241e303f67cbe4ab \
--control-plane --certificate-key b238ee75df1efb88880f2453e1e6e1afb7e774b57817eb3fb15a4a9e578e92fd
 
[root@master02 ~]# mkdir -p $HOME/.kube
[root@master02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
[root@master02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/config
[root@master02 ~]# cat << EOF >> ~/.bashrc
export KUBECONFIG=$HOME/.kube/config
EOF #設置KUBECONFIG環境變量
[root@master02 ~]# echo "source <(kubectl completion bash)" >> ~/.bashrc
[root@master02 ~]# source ~/.bashrc
提示：master03也如上執行添加至集群的controlplane。
提示：若添加異常可通過kubeadm reset && rm -rf $HOME/.kube重置。

六 安裝NIC插件

6.1 NIC插件介紹

Calico 是一個安全的 L3 網絡和網絡策略提供者。
Canal 結合 Flannel 和 Calico， 提供網絡和網絡策略。
Cilium 是一個 L3 網絡和網絡策略插件， 能夠透明的實施 HTTP/API/L7 策略。 同時支持路由（routing）和疊加/封裝（ overlay/encapsulation）模式。
Contiv 為多種用例提供可配置網絡（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 項目完全開源。安裝工具同時提供基於和不基於 kubeadm 的安裝選項。
Flannel 是一個可以用於 Kubernetes 的 overlay 網絡提供者。
Romana 是一個 pod 網絡的層 3 解決方案，並且支持 NetworkPolicy API。Kubeadm add-on 安裝細節可以在這里找到。
Weave Net 提供了在網絡分組兩端參與工作的網絡和網絡策略，並且不需要額外的數據庫。
CNI-Genie 使 Kubernetes 無縫連接到一種 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。
提示：本實驗使用Calico插件。

6.2 設置標簽

[root@master01 ~]# kubectl taint nodes --all node-role.kubernetes.io/master- #允許master部署應用
提示：部署完內部應用后可使用kubectl taint node k8smaster03 node-role.kubernetes.io/master="":NoSchedule重新設置Master為Master Only 狀態。

6.3 部署calico

[root@master01 ~]# for all_ip in ${ALL_IPS[@]}
do
echo ">>> ${all_ip}"
ssh root@${all_ip} "docker pull calico/cni:v3.11.2"
ssh root@${all_ip} "docker pull calico/pod2daemon-flexvol:v3.11.2"
ssh root@${all_ip} "docker pull calico/node:v3.11.2"
ssh root@${all_ip} "docker pull calico/kube-controllers:v3.11.2"
done
#建議提前pull鏡像
提示：如上僅需Master01節點操作，從而實現所有Master節點自動拉取鏡像。
[root@master01 ~]# wget https://docs.projectcalico.org/v3.11/manifests/calico.yaml
[root@master01 ~]# vi calico.yaml 
  1 ……
  2             - name: CALICO_IPV4POOL_CIDR
  3               value: "10.10.0.0/16"		#配置Pod網段
  4 ……
  5             - name: IP_AUTODETECTION_METHOD
  6               value: "interface=eth.*"		#追加節點之間的網卡
  7 # Auto-detect the BGP IP address.
  8             - name: IP
  9               value: "autodetect"
 10 ……
[root@master01 ~]# kubectl apply -f calico.yaml
[root@master01 ~]# kubectl get pods --all-namespaces -o wide #查看部署
clipboard
[root@master01 ~]# kubectl get nodes
clipboard
 

七 部署高可用組件II

7.1 高可用說明

高可用kubernetes集群步驟三已完成配置，但是使用docker-compose方式啟動nginx-lb由於無法提供kubernetes集群的健康檢查和自動重啟功能，nginx-lb作為高可用kubernetes集群的核心組件建議也作為kubernetes集群中的一個pod來進行管理。
在/etc/kubernetes/manifests/目錄下，是kubelet直接管理的核心部署文件。現在我們停止原先使用docker-compose啟動的nginx-lb，由kubelet直接管理nginx-lb服務。

7.2 容器化實現高可用

[root@master01 ~]# for master_ip in ${MASTER_IPS[@]}
do
echo ">>> ${master_ip}"
ssh root@${master_ip} "systemctl stop kubelet"
ssh root@${master_ip} "docker stop nginx-lb && docker rm nginx-lb"
scp -rp /root/nginx-lb/nginx-lb.conf root@${master_ip}:/etc/kubernetes/
scp -rp /root/nginx-lb/nginx-lb.yaml root@${master_ip}:/etc/kubernetes/manifests/
ssh root@${master_ip} "systemctl restart kubelet docker"
done
提示：如上僅需Master01節點操作，從而實現所有Master節點自動啟動服務。
[root@master01 ~]# kubectl get pods --all-namespaces -o wide #再次驗證
clipboard

八 添加Worker節點

8.1 下載鏡像

為避免node節點無法pull相關鏡像，建議體現pull。
[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1"
ssh root@${node_ip} "docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1 k8s.gcr.io/pause:3.1"
ssh root@${node_ip} "docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/pause:3.1"
ssh root@${node_ip} "docker pull registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.4"
ssh root@${node_ip} "docker tag registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.4 k8s.gcr.io/kube-proxy:v1.17.4"
ssh root@${node_ip} "docker rmi registry.cn-hangzhou.aliyuncs.com/google_containers/kube-proxy:v1.17.4"
done
提示：如上僅需Master01節點操作，從而實現所有Master節點自動拉取鏡像。

8.2 添加Worker節點

[root@master01 ~]# for node_ip in ${NODE_IPS[@]}
do
echo ">>> ${node_ip}"
ssh root@${node_ip} "kubeadm join 172.24.8.254:16443 --token r0awcu.lqd10ud79onpnti7 --discovery-token-ca-cert-hash sha256:b010761631964b9ff381eb2dfcdd0708acd50b544782c3ed241e303f67cbe4ab"
ssh root@${node_ip} "systemctl enable kubelet.service"
done
提示：如上僅需Master01節點操作，從而實現所有Worker節點添加至集群，若添加異常可通過如下方式重置：
[root@node01 ~]# kubeadm reset
[root@node01 ~]# ifconfig cni0 down
[root@node01 ~]# ip link delete cni0
[root@node01 ~]# ifconfig flannel.1 down
[root@node01 ~]# ip link delete flannel.1
[root@node01 ~]# rm -rf /var/lib/cni/

8.3 確認驗證

[root@master01 ~]# kubectl get nodes #節點狀態
[root@master01 ~]# kubectl get cs #組件狀態
[root@master01 ~]# kubectl get serviceaccount #服務賬戶
[root@master01 ~]# kubectl cluster-info #集群信息
clipboard
[root@master01 ~]# kubectl get pod -n kube-system -o wide #所有服務狀態
clipboard
提示：更多Kubetcl使用參考：https://kubernetes.io/docs/reference/kubectl/kubectl/
https://kubernetes.io/docs/reference/kubectl/overview/
更多kubeadm使用參考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

九 開啟IPVS

提示：通常4.2修改config文件后已開啟ipvs，若未開啟可通過如下方式修改。
[root@master01 ~]# kubectl logs kube-proxy-b4rnm -n kube-system #查看任意一個proxy pod的日志

9.1 修改ConfigMap

[root@master01 ~]# kubectl edit cm kube-proxy -n kube-system #模式改為ipvs
……
mode: "ipvs"
……
[root@master01 ~]# kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
[root@master01 ~]# kubectl get pod -n kube-system | grep kube-proxy #查看proxy的pod
[root@master01 ~]# kubectl logs kube-proxy-2c8tj -n kube-system #查看任意一個proxy pod的日志
clipboard

十 測試集群

10.1 創建測試service

[root@master01 ~]# kubectl run nginx --replicas=2 --labels="run=load-balancer-example" --image=nginx --port=80
[root@master01 ~]# kubectl expose deployment nginx --type=NodePort --name=example-service #暴露端口
[root@master01 ~]# kubectl get service #查看服務狀態
[root@master01 ~]# kubectl describe service example-service #查看信息
clipboard

10.2 測試訪問

[root@master01 ~]# curl 192.168.182.44
[root@master01 ~]# kubectl get pod -o wide #查看endpoint
clipboard
[root@master01 ~]# curl 10.10.5.1 #訪問endpoint，與訪問服務ip結果相同
[root@master01 ~]# curl 10.10.19.65
[root@master01 ~]# kubectl delete deployments.apps nginx
[root@master01 ~]# kubectl delete service example-service

十一 部署dashboard

參考《附017.Kubernetes_v1.17 Dashboard部署》。
參考鏈接：
https://blog.csdn.net/fanren224/article/details/86573264
https://blog.frognew.com/2019/04/kubeadm-install-kubernetes-1.14.html
http://www.luyixian.cn/news_show_11429.aspx
https://www.kubernetes.org.cn/4956.html
https://github.com/cookeem/kubeadm-ha


免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。



猜您在找 kubeadm 部署 kubernetes(v1.17.4)高可用集群 附023.Kubernetes_v1.18.3高可用部署架構二 附012.Kubernetes_v1.15.6高可用部署 附022.Kubernetes_v1.18.3高可用部署架構一 附031.Kubernetes_v1.20.4高可用部署架構二 附034.Kubernetes_v1.21.0高可用部署架構二 附028.Kubernetes_v1.20.0高可用部署架構二 Kubernetes實戰總結 - kubeadm部署集群（v1.17.4） kubeadm部署kubernetes v1.14.1高可用集群 kubernetes部署高可用redis
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM