附012.Kubernetes_v1.15.6高可用部署

本文轉載自查看原文 2019-12-04 15:02 401 高可用集群/ kubeadm/ 高可用/ Kubernetes/ 部署高可用Kubernetes集群

一 kubeadm介紹

1.1 概述

 
         參考《附003.Kubeadm部署Kubernetes》。 
        

1.2 kubeadm功能

 
         參考《附003.Kubeadm部署Kubernetes》。 
        

二部署規划

2.1 節點規划

節點主機名	IP	類型	運行服務
k8smaster01	172.24.8.71	Kubernetes master節點	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、kubelet、heapster、calico
k8smaster02	172.24.8.72	Kubernetes master節點	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、heapster、calico
k8smaster03	172.24.8.73	Kubernetes master節點	docker、etcd、kube-apiserver、kube-scheduler、kube-controller-manager、kubectl、 kubelet、heapster、calico
k8snode01	172.24.8.74	Kubernetes node節點1	docker、kubelet、proxy、calico
k8snode02	172.24.8.75	Kubernetes node節點2	docker、kubelet、proxy、calico
k8snode03	172.24.8.76	Kubernetes node節點3	docker、kubelet、proxy、calico

 
         Kubernetes的高可用主要指的是控制平面的高可用，即指多套Master節點組件和Etcd組件，工作節點通過負載均衡連接到各Master。HA有通常有如下兩種架構： 
        

 
         高可用架構一：etcd與Master節點組件混布在一起。 
        

 
         高可用架構二：使用獨立的Etcd集群，不與Master節點混布。 
        

 
         釋義： 
        

 
         兩種方式的相同之處在於都提供了控制平面的冗余，實現了集群高可以用，區別在於： 
        

Etcd混布方式

所需機器資源少

部署簡單，利於管理

容易進行橫向擴展

風險大，一台宿主機掛了，master和etcd就都少了一套，集群冗余度受到的影響比較大。

Etcd獨立部署方式：

所需機器資源多（按照Etcd集群的奇數原則，這種拓撲的集群關控制平面最少需要6台宿主機了）

部署相對復雜，要獨立管理etcd集群和和master集群

解耦了控制平面和Etcd，集群風險小健壯性強，單獨掛了一台master或etcd對集群的影響很小

 
         提示：本實驗使用高可用架構一實現Kubernetes的高可用。 
        

2.2 初始准備

  1 [root@k8smaster01 ~]# vi k8sinit.sh
  2 # Modify Author: xhy
  3 # Modify Date: 2019-06-23 22:19
  4 # Version:
  5 #***************************************************************#
  6 # Initialize the machine. This needs to be executed on every machine.
  7 
  8 # Add host domain name.
  9 cat >> /etc/hosts << EOF
 10 172.24.8.71 k8smaster01
 11 172.24.8.72 k8smaster02
 12 172.24.8.73 k8smaster03
 13 172.24.8.74 k8snode01
 14 172.24.8.75 k8snode02
 15 172.24.8.76 k8snode03
 16 EOF
 17 
 18 # Add docker user
 19 useradd -m docker
 20 
 21 # Disable the SELinux.
 22 sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config
 23 
 24 # Turn off and disable the firewalld.
 25 systemctl stop firewalld
 26 systemctl disable firewalld
 27 
 28 # Modify related kernel parameters & Disable the swap.
 29 cat > /etc/sysctl.d/k8s.conf << EOF
 30 net.ipv4.ip_forward = 1
 31 net.bridge.bridge-nf-call-ip6tables = 1
 32 net.bridge.bridge-nf-call-iptables = 1
 33 net.ipv4.tcp_tw_recycle = 0
 34 vm.swappiness = 0
 35 vm.overcommit_memory = 1
 36 vm.panic_on_oom = 0
 37 net.ipv6.conf.all.disable_ipv6 = 1
 38 EOF
 39 sysctl -p /etc/sysctl.d/k8s.conf >&/dev/null
 40 swapoff -a
 41 sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
 42 modprobe br_netfilter
 43 
 44 # Add ipvs modules
 45 cat > /etc/sysconfig/modules/ipvs.modules <<EOF
 46 #!/bin/bash
 47 modprobe -- ip_vs
 48 modprobe -- ip_vs_rr
 49 modprobe -- ip_vs_wrr
 50 modprobe -- ip_vs_sh
 51 modprobe -- nf_conntrack_ipv4
 52 EOF
 53 chmod 755 /etc/sysconfig/modules/ipvs.modules
 54 bash /etc/sysconfig/modules/ipvs.modules
 55 
 56 # Install rpm
 57 yum install -y conntrack git ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget gcc gcc-c++ make openssl-devel
 58 
 59 # Install Docker Compose
 60 sudo curl -L "https://github.com/docker/compose/releases/download/1.25.0/docker-compose-$(uname -s)-$(uname -m)" -o /usr/local/bin/docker-compose
 61 sudo chmod +x /usr/local/bin/docker-compose
 62 
 63 # Update kernel
 64 rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org
 65 rpm -Uvh https://www.elrepo.org/elrepo-release-7.0-4.el7.elrepo.noarch.rpm
 66 yum --disablerepo="*" --enablerepo="elrepo-kernel" install -y kernel-ml-5.4.1-1.el7.elrepo
 67 sed -i 's/^GRUB_DEFAULT=.*/GRUB_DEFAULT=0/' /etc/default/grub
 68 grub2-mkconfig -o /boot/grub2/grub.cfg
 69 yum update -y
 70 
 71 # Reboot the machine.
 72 reboot

 
         提示：對於某些特性，可能需要升級內核，因此如上腳本將內核升級至5.4。 
        

2.3 互信配置

 
         為了更方便遠程分發文件和執行命令，本實驗配置master節點到其它節點的 ssh 信任關系。 
        

  1 [root@k8smaster01 ~]# ssh-keygen -f ~/.ssh/id_rsa -N ''
  2 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster01
  3 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster02
  4 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8smaster03
  5 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode01
  6 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode02
  7 [root@k8smaster01 ~]# ssh-copy-id -i ~/.ssh/id_rsa.pub root@k8snode03

 
         提示：此操作僅需要在master節點操作。 
        

三集群部署

3.1 Docker安裝

  1 [root@k8smaster01 ~]# yum -y update
  2 [root@k8smaster01 ~]# yum -y install yum-utils device-mapper-persistent-data lvm2
  3 [root@k8smaster01 ~]# yum-config-manager \
  4 --add-repo \
  5 http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
  6 [root@k8smaster01 ~]# yum list docker-ce --showduplicates | sort -r		#查看可用版本
  7 [root@k8smaster01 ~]# yum -y install docker-ce-18.09.9-3.el7.x86_64		#kubeadm當前不支持18.09以上版本
  8 [root@k8smaster01 ~]# mkdir /etc/docker
  9 [root@k8smaster01 ~]# cat > /etc/docker/daemon.json <<EOF
 10 {
 11   "registry-mirrors": ["https://dbzucv6w.mirror.aliyuncs.com"],
 12   "exec-opts": ["native.cgroupdriver=systemd"],
 13   "log-driver": "json-file",
 14   "log-opts": {
 15     "max-size": "100m"
 16   },
 17   "storage-driver": "overlay2",
 18   "storage-opts": [
 19     "overlay2.override_kernel_check=true"
 20   ]
 21 }
 22 EOF								#配置system管理cgroup

  1 [root@k8smaster01 ~]# systemctl restart docker
  2 [root@k8smaster01 ~]# systemctl enable docker
  3 [root@k8smaster01 ~]# iptables -nvL		#確認iptables filter表中FOWARD鏈的默認策略(pllicy)為ACCEPT

3.2 相關組件包

 
         需要在每台機器上都安裝以下的軟件包： 
        

 
         kubeadm: 用來初始化集群的指令； 
        

 
         kubelet: 在集群中的每個節點上用來啟動 pod 和 container 等； 
        

 
         kubectl: 用來與集群通信的命令行工具。 
        

 
         kubeadm不能安裝或管理 kubelet 或 kubectl ，所以得保證他們滿足通過 kubeadm 安裝的 Kubernetes 控制層對版本的要求。如果版本沒有滿足要求，可能導致一些意外錯誤或問題。 
        

 
         具體相關組件安裝見《附001.kubectl介紹及使用》。 
        

 
         提示：所有Master+Worker節點均需要如上操作。 
        

 
         Kubernetes 1.15版本所有兼容相應組件的版本參考：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG-1.15.md。 
        

3.3 正式安裝

  1 [root@k8smaster01 ~]# cat <<EOF > /etc/yum.repos.d/kubernetes.repo
  2 [kubernetes]
  3 name=Kubernetes
  4 baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
  5 enabled=1
  6 gpgcheck=1
  7 repo_gpgcheck=1
  8 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
  9 EOF
 10 #配置yum源

  1 [root@k8smaster01 ~]# yum search kubelet --showduplicates		#查看相應版本
  2 [root@k8smaster01 ~]# yum install -y kubeadm-1.15.6-0.x86_64 kubelet-1.15.6-0.x86_64 kubectl-1.15.6-0.x86_64 --disableexcludes=kubernetes

 
         說明：同時安裝了cri-tools, kubernetes-cni, socat三個依賴： 
        

 
         socat：kubelet的依賴； 
        

 
         cri-tools：即CRI(Container Runtime Interface)容器運行時接口的命令行工具。 
        

  1 [root@k8smaster01 ~]# systemctl enable kubelet

 
         提示：所有Master+Worker節點均需要如上操作。此時不需要啟動kubelet，初始化的過程中會自動啟動的，如果此時啟動了會出現報錯，忽略即可。 
        

三部署高可用組件I

3.1 Keepalived安裝

  1 [root@k8smaster01 ~]# wget https://www.keepalived.org/software/keepalived-2.0.19.tar.gz
  2 [root@k8smaster01 ~]# tar -zxvf keepalived-2.0.19.tar.gz
  3 [root@k8smaster01 ~]# cd keepalived-2.0.19/
  4 [root@k8smaster01 ~]# ./configure --sysconf=/etc --prefix=/usr/local/keepalived
  5 [root@k8smaster01 keepalived-2.0.19]# make && make install
  6 [root@k8smaster01 ~]# systemctl enable keepalived && systemctl start keepalived

 
         提示：所有Master節點均需要如上操作。 
        

3.2 創建配置文件

  1 [root@k8smaster01 ~]# git clone https://github.com/cookeem/kubeadm-ha	#拉取github的高可用自動配置腳本
  2 [root@k8smaster01 ~]# vi /root/kubeadm-ha/kubeadm-config.yaml
  3 apiVersion: kubeadm.k8s.io/v1beta1
  4 kind: ClusterConfiguration
  5 kubernetesVersion: v1.15.6						#配置安裝的版本
  6 ……
  7 podSubnet: "10.10.0.0/16"						#指定pod網段及掩碼
  8 ……

 
         提示：若需要修改為國內Kubernetes初始化鏡像源，可通過在kubeadm-config.yaml中追加如下參數，若參考4.1步驟提前下載： 
        

 
         imageRepository: registry.cn-hangzhou.aliyuncs.com/google_container 
        

  1 [root@k8smaster01 ~]# cd kubeadm-ha/
  2 [root@k8smaster01 kubeadm-ha]# vi create-config.sh
  3 # master keepalived virtual ip address
  4 export K8SHA_VIP=172.24.8.100
  5 # master01 ip address
  6 export K8SHA_IP1=172.24.8.71
  7 # master02 ip address
  8 export K8SHA_IP2=172.24.8.72
  9 # master03 ip address
 10 export K8SHA_IP3=172.24.8.73
 11 # master keepalived virtual ip hostname
 12 export K8SHA_VHOST=k8smaster01
 13 # master01 hostname
 14 export K8SHA_HOST1=k8smaster01
 15 # master02 hostname
 16 export K8SHA_HOST2=k8smaster02
 17 # master03 hostname
 18 export K8SHA_HOST3=k8smaster03
 19 # master01 network interface name
 20 export K8SHA_NETINF1=eth0
 21 # master02 network interface name
 22 export K8SHA_NETINF2=eth0
 23 # master03 network interface name
 24 export K8SHA_NETINF3=eth0
 25 # keepalived auth_pass config
 26 export K8SHA_KEEPALIVED_AUTH=412f7dc3bfed32194d1600c483e10ad1d
 27 # calico reachable ip address
 28 export K8SHA_CALICO_REACHABLE_IP=172.24.8.2
 29 # kubernetes CIDR pod subnet
 30 export K8SHA_CIDR=10.10.0.0
 31 
 32 [root@k8smaster01 kubeadm-ha]# ./create-config.sh

 
         解釋：所有Master節點均需要如上操作。執行腳本后會生產如下配置文件清單： 
        

 
         執行create-config.sh腳本后，會自動生成以下配置文件： 
        

kubeadm-config.yaml：kubeadm初始化配置文件，位於kubeadm-ha代碼的./根目錄

keepalived：keepalived配置文件，位於各個master節點的/etc/keepalived目錄

nginx-lb：nginx-lb負載均衡配置文件，位於各個master節點的/root/nginx-lb目錄

calico.yaml：calico網絡組件部署文件，位於kubeadm-ha代碼的./calico目錄

3.3 啟動Keepalived

  1 [root@k8smaster01 ~]# cat /etc/keepalived/keepalived.conf
  2 [root@k8smaster01 ~]# cat /etc/keepalived/check_apiserver.sh

  1 [root@k8smaster01 ~]# systemctl restart keepalived.service
  2 [root@k8smaster01 ~]# systemctl status keepalived.service
  3 [root@k8smaster01 ~]# ping 172.24.8.100
  4

 
         提示：所有Master節點均需要如上操作。 
        

3.4 啟動Nginx

 
         執行create-config.sh腳本后，nginx-lb的配置文件會自動復制到各個master的節點的/root/nginx-lb目錄 
        

  1 [root@k8smaster01 ~]# cd /root/nginx-lb/

  1 [root@k8smaster01 nginx-lb]# docker-compose up -d	        #使用docker-compose方式啟動nginx-lb
  2 [root@k8smaster01 ~]# docker-compose ps			#檢查nginx-lb啟動狀態

 
         提示：所有Master節點均需要如上操作。 
        

四初始化集群-Mater

4.1 Master上初始化

  1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images list	#列出所需鏡像
  2 k8s.gcr.io/kube-apiserver:v1.15.6
  3 k8s.gcr.io/kube-controller-manager:v1.15.6
  4 k8s.gcr.io/kube-scheduler:v1.15.6
  5 k8s.gcr.io/kube-proxy:v1.15.6
  6 k8s.gcr.io/pause:3.1
  7 k8s.gcr.io/etcd:3.3.10
  8 k8s.gcr.io/coredns:1.3.1

  1 [root@k8smaster01 ~]# kubeadm --kubernetes-version=v1.15.6 config images pull	#拉取kubernetes所需鏡像

 
         注意： 
        

 
         由於國內Kubernetes鏡像可能無法pull，建議通過VPN等方式提前pull鏡像，然后上傳至所有master節點。 
        

  1 [root@VPN ~]# docker pull k8s.gcr.io/kube-apiserver:v1.15.6
  2 [root@VPN ~]# docker pull k8s.gcr.io/kube-controller-manager:v1.15.6
  3 [root@VPN ~]# docker pull k8s.gcr.io/kube-scheduler:v1.15.6
  4 [root@VPN ~]# docker pull k8s.gcr.io/kube-proxy:v1.15.6
  5 [root@VPN ~]# docker pull k8s.gcr.io/pause:3.1
  6 [root@VPN ~]# docker pull k8s.gcr.io/etcd:3.3.10
  7 [root@VPN ~]# docker pull k8s.gcr.io/coredns:1.3.1
  8 [root@k8smaster01 ~]# docker load -i kube-apiserver.tar
  9 [root@k8smaster01 ~]# docker load -i kube-controller-manager.tar
 10 [root@k8smaster01 ~]# docker load -i kube-scheduler.tar
 11 [root@k8smaster01 ~]# docker load -i kube-proxy.tar
 12 [root@k8smaster01 ~]# docker load -i pause.tar
 13 [root@k8smaster01 ~]# docker load -i etcd.tar
 14 [root@k8smaster01 ~]# docker load -i coredns.tar

  1 [root@k8smaster01 ~]# kubeadm init --config=/root/kubeadm-ha/kubeadm-config.yaml --upload-certs

 
         保留如下命令用於后續節點添加： 
        

  1 You can now join any number of the control-plane node running the following command on each as root:
  2 
  3   kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  4     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
  5     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471
  6 
  7 Please note that the certificate-key gives access to cluster sensitive data, keep it secret!
  8 As a safeguard, uploaded-certs will be deleted in two hours; If necessary, you can use
  9 "kubeadm init phase upload-certs --upload-certs" to reload certs afterward.
 10 
 11 Then you can join any number of worker nodes by running the following on each as root:
 12 
 13 kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
 14     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

 
         注意：如上token具有默認24小時的有效期，token和hash值可通過如下方式獲取： 
        

 
         kubeadm token list 
        

 
         如果 Token 過期以后，可以輸入以下命令，生成新的 Token 
        

  1 kubeadm token create
  2 openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'
  3

  1 [root@k8smaster01 ~]# mkdir -p $HOME/.kube
  2 [root@k8smaster01 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
  3 [root@k8smaster01 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf

 
         提示：默認使用k8s.gcr.io拉取鏡像，國內用戶可通過以下命令使用阿里源： 
        

  1 [root@k8smaster01 ~]# cat << EOF >> ~/.bashrc
  2 export KUBECONFIG=$HOME/.kube/admin.conf
  3 EOF							#設置KUBECONFIG環境變量
  4 [root@k8smaster01 ~]# source ~/.bashrc

 
         附加：初始化過程大致步驟如下： 
        

[kubelet-start] 生成kubelet的配置文件”/var/lib/kubelet/config.yaml”

[certificates]生成相關的各種證書

[kubeconfig]生成相關的kubeconfig文件

[bootstraptoken]生成token記錄下來，后邊使用kubeadm join往集群中添加節點時會用到

 
         提示：初始化僅需要在master01上執行，若初始化異常可通過[root@master ~]# kubeadm reset && rm -rf $HOME/.kube重置。 
        

4.2 添加其他master節點

  1 [root@k8smaster02 ~]# kubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  2     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9 \
  3     --control-plane --certificate-key d8393e3d6c936c2e489e4aff53458c6c5b06ef2a8715f49529494cbd469c1471

  1 [root@k8smaster02 ~]# mkdir -p $HOME/.kube
  2 [root@k8smaster02 ~]# sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/admin.conf
  3 [root@k8smaster02 ~]# sudo chown $(id -u):$(id -g) $HOME/.kube/admin.conf
  4 [root@k8smaster02 ~]# cat << EOF >> ~/.bashrc
  5 export KUBECONFIG=$HOME/.kube/admin.conf
  6 EOF
  7 [root@k8smaster02 ~]# source ~/.bashrc

 
         提示：master03也如上執行添加至集群的controlplane。 
        

五安裝NIC插件

5.1 NIC插件介紹

 
         Calico 是一個安全的 L3 網絡和網絡策略提供者。 
        

 
         Canal 結合 Flannel 和 Calico， 提供網絡和網絡策略。 
        

 
         Cilium 是一個 L3 網絡和網絡策略插件， 能夠透明的實施 HTTP/API/L7 策略。 同時支持路由（routing）和疊加/封裝（ overlay/encapsulation）模式。 
        

 
         Contiv 為多種用例提供可配置網絡（使用 BGP 的原生 L3，使用 vxlan 的 overlay，經典 L2 和 Cisco-SDN/ACI）和豐富的策略框架。Contiv 項目完全開源。安裝工具同時提供基於和不基於 kubeadm 的安裝選項。 
        

 
         Flannel 是一個可以用於 Kubernetes 的 overlay 網絡提供者。 
        

 
         Romana 是一個 pod 網絡的層 3 解決方案，並且支持 NetworkPolicy API。Kubeadm add-on 安裝細節可以在這里找到。 
        

 
         Weave Net 提供了在網絡分組兩端參與工作的網絡和網絡策略，並且不需要額外的數據庫。 
        

 
         CNI-Genie 使 Kubernetes 無縫連接到一種 CNI 插件，例如：Flannel、Calico、Canal、Romana 或者 Weave。 
        

 
         提示：本實驗使用Calico插件。 
        

5.2 部署calico

  1 [root@k8smaster01 ~]# docker pull calico/cni:v3.6.0
  2 [root@k8smaster01 ~]# docker pull calico/node:v3.6.0
  3 [root@k8smaster01 ~]# docker pull calico/kube-controllers:v3.6.0	#建議提前pull鏡像
  4 [root@k8smaster01 ~]# kubectl apply -f kubeadm-ha/calico/calico.yaml

  1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#查看部署

  1 [root@k8smaster01 ~]# kubectl get nodes
  2 NAME          STATUS   ROLES    AGE    VERSION
  3 k8smaster01   Ready    master   174m   v1.15.6
  4 k8smaster02   Ready    master   168m   v1.15.6
  5 k8smaster03   Ready    master   168m   v1.15.6

六部署高可用組件II

6.1 高可用說明

 
         高可用kubernetes集群步驟三已完成配置，但是使用docker-compose方式啟動nginx-lb由於無法提供kubernetes集群的健康檢查和自動重啟功能，nginx-lb作為高可用kubernetes集群的核心組件建議也作為kubernetes集群中的一個pod來進行管理。 
        

 
         在/etc/kubernetes/manifests/目錄下，是kubelet直接管理的核心部署文件。現在我們停止原先使用docker-compose啟動的nginx-lb，由kubelet直接管理nginx-lb服務。 
        

  1 [root@k8smaster01 ~]# systemctl stop kubelet
  2 [root@k8smaster01 ~]# docker stop nginx-lb && docker rm nginx-lb

 
         提示：所有Master節點均需要如上操作。 
        

  1 [root@k8smaster01 ~]# export K8SHA_HOST1=k8smaster01
  2 [root@k8smaster01 ~]# export K8SHA_HOST2=k8smaster02
  3 [root@k8smaster01 ~]# export K8SHA_HOST3=k8smaster03
  4 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST1}:/etc/kubernetes/
  5 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST2}:/etc/kubernetes/
  6 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.conf root@${K8SHA_HOST3}:/etc/kubernetes/
  7 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST1}:/etc/kubernetes/manifests/
  8 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST2}:/etc/kubernetes/manifests/
  9 [root@k8smaster01 ~]# scp /root/nginx-lb/nginx-lb.yaml root@${K8SHA_HOST3}:/etc/kubernetes/manifests/

 
         提示：如上操作僅需Master01上執行。 
        

  1 [root@k8smaster01 ~]# systemctl restart kubelet docker			#所有master節點重啟相關服務

 
         提示：所有Master節點均需要如上操作。 
        

  1 [root@k8smaster01 ~]# kubectl get pods --all-namespaces -o wide		#再次驗證

七添加Worker節點

7.1 下載鏡像

 
         為避免node節點無法pull相關鏡像，建議體現pull。 
        

  1 [root@k8snode01 ~]# docker load -i pause.tar

 
         提示：所有node節點均需要如上操作。 
        

7.2 添加Node節點

  1 [root@k8snode01 ~]# systemctl enable kubelet.service
  2 [root@k8snode01 ~]# skubeadm join 172.24.8.100:16443 --token qcxeyv.q37rluk3qql8p9bf \
  3     --discovery-token-ca-cert-hash sha256:d8cf7c0384fff8779227f1a913d981d02b9f8f79a70365ba76a909e7160899a9

 
         提示：若添加異常可通過如下方式重置： 
        

  1 [root@node01 ~]# kubeadm reset
  2 [root@node01 ~]# ifconfig cni0 down
  3 [root@node01 ~]# ip link delete cni0
  4 [root@node01 ~]# ifconfig flannel.1 down
  5 [root@node01 ~]# ip link delete flannel.1
  6 [root@node01 ~]# rm -rf /var/lib/cni/

7.3 確認驗證

  1 [root@k8smaster01 ~]# kubectl get nodes						#節點狀態
  2 [root@k8smaster01 ~]# kubectl get cs						#組件狀態
  3 [root@k8smaster01 ~]# kubectl get serviceaccount					#服務賬戶
  4 [root@k8smaster01 ~]# kubectl cluster-info						#集群信息
  5 [root@k8smaster01 ~]# kubectl get pod -n kube-system -o wide			#所有服務狀態

 
         提示：更多Kubetcl使用參考：https://kubernetes.io/docs/reference/kubectl/kubectl/ 
        

 
         https://kubernetes.io/docs/reference/kubectl/overview/ 
        

 
         更多kubeadm使用參考：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/ 
        

八開啟IPVS

8.1 修改ConfigMap

  1 [root@k8smaster01 ~]# kubectl edit cm kube-proxy -n kube-system		#模式改為ipvs
  2 ……
  3 mode: "ipvs"
  4 ……
  5 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy | awk '{system("kubectl delete pod "$1" -n kube-system")}'
  6 [root@k8smaster01 ~]# kubectl get pod -n kube-system | grep kube-proxy	#查看proxy的pod
  7 [root@k8smaster01 ~]# kubectl logs kube-proxy-2c8tj -n kube-system		#查看任意一個proxy pod的日志

九測試集群

9.1 創建測試service

  1 [root@k8smaster01 ~]# kubectl run nginx --replicas=2 --labels="run=load-balancer-example" --image=nginx --port=80
  2 [root@k8smaster01 ~]# kubectl expose deployment nginx --type=NodePort --name=example-service  #暴露端口
  3 [root@k8smaster01 ~]# kubectl get service							  #查看服務狀態
  4 [root@k8smaster01 ~]# kubectl describe service example-service				  #查看信息

9.2 測試訪問

  1 [root@k8smaster01 ~]# curl 10.97.91.153:80

  1 [root@k8smaster01 ~]# kubectl get pod -o wide		#查看endpoint

  1 [root@k8smaster01 ~]# curl 10.10.32.129:80		#訪問endpoint，與訪問服務ip結果相同
  2 [root@k8smaster01 ~]# curl 10.10.154.1:80

十部署dashboard

10.1 設置標簽

  1 [root@k8smaster01 ~]# kubectl label nodes k8smaster01 app=kube-system
  2 [root@k8smaster01 ~]# kubectl label nodes k8smaster02 app=kube-system
  3 [root@k8smaster01 ~]# kubectl label nodes k8smaster03 app=kube-system

10.2 創建證書

 
         由於自動生成的證書可能過期，建議手動生成證書，而取消yaml中自動創建secret的部分。 
        

  1 [root@k8smaster01 ~]# cd /etc/kubernetes/pki/
  2 [root@k8smaster01 pki]# openssl genrsa -out dashboard.key 2048
  3 [root@k8smaster01 pki]# openssl req -new -out dashboard.csr -key dashboard.key -subj "/CN=dashboard"
  4 [root@k8smaster01 pki]# openssl x509 -req -sha256 -in dashboard.csr -out dashboard.crt -signkey dashboard.key -days 365
  5 [root@k8smaster01 pki]# openssl x509  -noout -text -in ./dashboard.crt		#查看證書
  6

10.3 分發證書

  1 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster02:/etc/kubernetes/pki/
  2 [root@k8smaster01 pki]# scp dashboard.* root@k8smaster03:/etc/kubernetes/pki/
  3

10.4 手動創建secret

  1 [root@k8smaster01 ~]# ll /etc/kubernetes/pki/dashboard.*
  2 -rw-r--r-- 1 root root 1.2K Dec  3 03:10 /etc/kubernetes/pki/dashboard.crt
  3 -rw-r--r-- 1 root root  976 Dec  3 03:10 /etc/kubernetes/pki/dashboard.csr
  4 -rw-r--r-- 1 root root 1.7K Dec  3 03:09 /etc/kubernetes/pki/dashboard.key
  5 [root@k8smaster01 ~]# kubectl create secret generic kubernetes-dashboard-certs --from-file="/etc/kubernetes/pki/dashboard.crt,/etc/kubernetes/pki/dashboard.key" -n kube-system	#掛載新證書到dashboard
  6 [root@master dashboard]# kubectl get secret kubernetes-dashboard-certs -n kube-system -o yaml	#查看新證書

10.5 部署dashboard

  1 [root@master01 ~]# vim /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml 		#如下部分刪除
  2 # ------------------- Dashboard Secret ------------------- #
  3 
  4 apiVersion: v1
  5 kind: Secret
  6 metadata:
  7   labels:
  8     k8s-app: kubernetes-dashboard
  9   name: kubernetes-dashboard-certs
 10   namespace: kube-system
 11 type: Opaque

  1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/kubernetes-dashboard/kubernetes-dashboard.yaml
  2 [root@k8smaster01 ~]# kubectl get deployment kubernetes-dashboard -n kube-system
  3 NAME                   READY   UP-TO-DATE   AVAILABLE   AGE
  4 kubernetes-dashboard   1/1     1            1           10s
  5 [root@k8smaster01 ~]# kubectl get pods -o wide --namespace kube-system
  6 [root@k8smaster01 ~]# kubectl get services kubernetes-dashboard -n kube-system

 
         提示：k8smaster01 NodePort 30000/TCP映射到 dashboard pod 443 端口。 
        

10.6 查看dashboard參數

  1 [root@k8smaster01 ~]# kubectl exec --namespace kube-system -it kubernetes-dashboard-66cb8889-gjpnd -- /dashboard --help

 
         提示：dashboard 的 --authentication-mode 支持 token、basic，默認為 token。如果使用 basic，則 kube-apiserver 必須配置 --authorization-mode=ABAC 和 --basic-auth-file 參數。 
        

十一訪問dashboard

11.1 導入證書

 
         將dashboard.crt導入IE瀏覽器，並設置為信任，導入操作略。 
        

11.2 創建kubeconfig文件

 
         使用token相對復雜，可將token添加至kubeconfig文件中，使用KubeConfig 文件訪問dashboard。 
        

  1 [root@k8smaster01 ~]# ADMIN_SECRET=$(kubectl get secrets -n kube-system | grep admin-user-token- | awk '{print $1}')
  2 [root@k8smaster01 ~]# DASHBOARD_LOGIN_TOKEN=$(kubectl describe secret -n kube-system ${ADMIN_SECRET} | grep -E '^token' | awk '{print $2}')
  3 [root@k8smaster01 ~]# kubectl config set-cluster kubernetes \
  4   --certificate-authority=/etc/kubernetes/pki/ca.crt \
  5   --embed-certs=true \
  6   --server=172.24.8.100:16443 \
  7   --kubeconfig=dashboard.kubeconfig		        # 設置集群參數
  8 [root@k8smaster01 ~]# kubectl config set-credentials dashboard_user \
  9   --token=${DASHBOARD_LOGIN_TOKEN} \
 10   --kubeconfig=dashboard_admin.kubeconfig		# 設置客戶端認證參數，使用上面創建的 Token
 11 [root@k8smaster01 ~]# kubectl config set-context default \
 12   --cluster=kubernetes \
 13   --user=dashboard_user \
 14   --kubeconfig=dashboard_admin.kubeconfig		# 設置上下文參數
 15 [root@k8smaster01 ~]# kubectl config use-context default --kubeconfig=dashboard_admin.kubeconfig  # 設置默認上下文

 
         #將dashboard.kubeconfig文件導入，以便於瀏覽器使用該文件登錄。 
        

11.3 測試訪問dashboard

 
         本實驗采用nodeip:nodepord方式訪問。 
        

 
         瀏覽器訪問：https://172.24.8.71:30000 
        

 
         使用dashboard_admin.kubeconfig文件訪問： 
        

 
         提示： 
        

 
         更多dashboard訪問方式及認證可參考《附004.Kubernetes Dashboard簡介及使用》。 
        

 
         dashboard登錄整個流程可參考：https://www.cnadn.net/post/2613.htm 
        

 
         提示：由於缺少 Heapster 插件，當前 dashboard 不能展示 Pod、Nodes 的 CPU、內存等統計數據和圖表。 
        

十二部署heapster

 
         12.1 pull鏡像 
        

 
         建議提前pull部署heapster所需鏡像。 
        

  1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
  2 [root@VPN ~]# docker run -ti --rm --entrypoint "/bin/sh" k8s.gcr.io/heapster-influxdb-amd64:v1.5.2
  3 / # sed -i "s/localhost/127.0.0.1/g" /etc/config.toml	#容器內修改config
  4 [root@VPN ~]# docker ps				        #另開一個終端
  5 CONTAINER ID        IMAGE                                       COMMAND             CREATED             STATUS              PORTS               NAMES
  6 30b29cf20782        k8s.gcr.io/heapster-influxdb-amd64:v1.5.2   "/bin/sh"           5 minutes ago       Up 5 minutes                            elastic_brahmagupta
  7 [root@VPN ~]# docker commit elastic_brahmagupta k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed  #提交修改后的容器為鏡像
  8 [root@VPN ~]# docker save -o heapster-influxdb-fixed.tar k8s.gcr.io/heapster-influxdb-amd64:v1.5.2-fixed

  1 [root@VPN ~]# docker pull k8s.gcr.io/heapster-amd64:v1.5.4
  2 [root@VPN ~]# docker save -o heapster.tar k8s.gcr.io/heapster-amd64:v1.5.4

  1 [root@k8smaster01 ~]# docker load -i heapster.tar
  2 [root@k8smaster01 ~]# docker load -i heapster-influxdb-fixed.tar

 
         提示：所有Master節點都需要load如上鏡像。 
        

12.2 部署heapster

  1 [root@k8smaster01 ~]# kubectl apply -f /root/kubeadm-ha/addons/heapster/

12.3 確認驗證

  1 [root@k8smaster01 ~]# kubectl top pods -n kube-system

 
         再次瀏覽器訪問：https://172.24.8.71:30000/ 
        

 
         參考鏈接：
https://www.kubernetes.org.cn/4956.html

 
         https://github.com/cookeem/kubeadm-ha 
        

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 附023.Kubernetes_v1.18.3高可用部署架構二附016.Kubernetes_v1.17.4高可用部署附022.Kubernetes_v1.18.3高可用部署架構一附031.Kubernetes_v1.20.4高可用部署架構二 kubeadm部署kubernetes v1.14.1高可用集群 kubernetes部署高可用redis 部署一套完整的Kubernetes高可用集群（二進制，v1.18版）虛擬機部署 Kubernetes v1.10.3 高可用集群 - 05 總結使用睿雲智合開源 Breeze 工具部署 Kubernetes v1.12.3 高可用集群 Kubernetes - - k8s - v1.12.3 一鍵部署高可用 Prometheus 並實現郵件告警

附012.Kubernetes_v1.15.6高可用部署

一 kubeadm介紹

1.1 概述

1.2 kubeadm功能

二 部署規划

2.1 節點規划

2.2 初始准備

2.3 互信配置

三 集群部署

3.1 Docker安裝

3.2 相關組件包

3.3 正式安裝

三 部署高可用組件I

3.1 Keepalived安裝

3.2 創建配置文件

3.3 啟動Keepalived

3.4 啟動Nginx

四 初始化集群-Mater

4.1 Master上初始化

4.2 添加其他master節點

五 安裝NIC插件

5.1 NIC插件介紹

5.2 部署calico

六 部署高可用組件II

6.1 高可用說明

七 添加Worker節點

7.1 下載鏡像

7.2 添加Node節點

7.3 確認驗證

八 開啟IPVS

8.1 修改ConfigMap

九 測試集群

9.1 創建測試service

9.2 測試訪問

十 部署dashboard

10.1 設置標簽

10.2 創建證書

10.3 分發證書

10.4 手動創建secret

10.5 部署dashboard

10.6 查看dashboard參數

十一 訪問dashboard

11.1 導入證書

11.2 創建kubeconfig文件

11.3 測試訪問dashboard

十二 部署heapster

12.2 部署heapster

12.3 確認驗證

免責聲明！

二部署規划

三集群部署

三部署高可用組件I

四初始化集群-Mater

五安裝NIC插件

六部署高可用組件II

七添加Worker節點

八開啟IPVS

九測試集群

十部署dashboard

十一訪問dashboard

十二部署heapster