k8s集群安裝學習筆記十——Kubernetes高可用安裝部署(3個master節點)

安裝步驟和筆記一安裝時基本一樣

系統初始化

安裝依賴包

yum install -y conntrack ntpdate ntp ipvsadm ipset jq iptables curl sysstat libseccomp wget vim net-tools git

 

設置系統主機名以及 Host 文件的相互解析

hostnamectl set-hostname <hostname>

 

在每台master及高可用服務器添加 hosts：(或者大型環境使用DNS解析)

$ cat >> /etc/hosts << EOF
192.168.66.10 k8s-master01
192.168.66.20 k8s-master02
192.168.66.21 k8s-master03
192.168.66.100 k8s-vip
EOF

 

在每台master服務器上操作如下：

設置防火牆為 iptables 並清空規則

systemctl stop firewalld && systemctl disable firewalld 
yum -y install iptables-services && systemctl start iptables && systemctl enable iptables && iptables -F && 
service iptables save

 

關閉 SELINUX，關閉swap(防止容器在swap虛擬內存上運行)

swapoff -a && sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
setenforce 0 && sed -i 's/^SELINUX=.*/SELINUX=disabled/' /etc/selinux/config

 

調整內核參數

cat > kubernetes.conf <<EOF 
net.bridge.bridge-nf-call-iptables=1 #開啟網橋模式
net.bridge.bridge-nf-call-ip6tables=1 
net.ipv4.ip_forward=1 
net.ipv4.tcp_tw_recycle=0 
vm.swappiness=0 # 禁止使用 swap 空間，只有當系統 OOM 時才允許使用它 
vm.overcommit_memory=1 # 不檢查物理內存是否夠用 
vm.panic_on_oom=0 # 開啟 OOM 
fs.inotify.max_user_instances=8192 
fs.inotify.max_user_watches=1048576 
fs.file-max=52706963 
fs.nr_open=52706963 
net.ipv6.conf.all.disable_ipv6=1 #禁用ipv6
net.netfilter.nf_conntrack_max=2310720 
EOF 

cp kubernetes.conf /etc/sysctl.d/kubernetes.conf 
sysctl -p /etc/sysctl.d/kubernetes.conf

 

同步系統時間

# 設置系統時區為 中國/上海 
timedatectl set-timezone Asia/Shanghai 
# 將當前的 UTC 時間寫入硬件時鍾 
timedatectl set-local-rtc 0 
# 重啟依賴於系統時間的服務
systemctl restart rsyslog systemctl restart crond

 

設置 rsyslogd 和 systemd journald

mkdir /var/log/journal # 持久化保存日志的目錄 
mkdir /etc/systemd/journald.conf.d 
cat > /etc/systemd/journald.conf.d/99-prophet.conf <<EOF
[Journal] 
# 持久化保存到磁盤 
Storage=persistent 
# 壓縮歷史日志 
Compress=yes 
SyncIntervalSec=5m 
RateLimitInterval=30s 
RateLimitBurst=1000 
# 最大占用空間 10G 
SystemMaxUse=10G 
# 單日志文件最大 200M 
SystemMaxFileSize=200M 
# 日志保存時間 2 周 
MaxRetentionSec=2week 
# 不將日志轉發到 
syslog ForwardToSyslog=no
EOF 
systemctl restart systemd-journald

 

升級系統內核

CentOS 7.x 系統自帶的 3.10.x 內核存在一些 Bugs，導致運行的 Docker、Kubernetes 不穩定

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm 
# 安裝完成后檢查 /boot/grub2/grub.cfg 中對應內核 menuentry 中是否包含 initrd16 配置，如果沒有，再安裝 一次！ 
yum --enablerepo=elrepo-kernel install -y kernel-lt 
# 設置開機從新內核啟動 
grub2-set-default 'CentOS Linux (5.4.144-1.el7.elrepo.x86_64) 7 (Core)'
cat /proc/version

 

關閉 NUMA

cp /etc/default/grub{,.bak} 
vim /etc/default/grub # 在 GRUB_CMDLINE_LINUX 一行添加 `numa=off` 參數，如下所示： 
diff /etc/default/grub.bak /etc/default/grub 
6c6 
< GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rhgb quiet" 
--- 
> GRUB_CMDLINE_LINUX="crashkernel=auto rd.lvm.lv=centos/root rhgb quiet numa=off" 
cp /boot/grub2/grub.cfg{,.bak}  #備份默認配置
grub2-mkconfig -o /boot/grub2/grub.cfg
reboot

 

Kubeadm部署安裝

所有節點安裝 Docker/kubeadm/kubelet

Kubernetes 默認 CRI（ 容器運行時） 為 Docker， 因此先安裝 Docker

 

kube-proxy開啟ipvs的前置條件

modprobe br_netfilter
cat > /etc/sysconfig/modules/ipvs.modules <<EOF
#!/bin/bash
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules &&
lsmod | grep -e ip_vs -e nf_conntrack_ipv4

 

安裝 Docker 軟件

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager \
--add-repo \
http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
yum update -y && yum install -y docker-ce
## 創建 /etc/docker 目錄
mkdir /etc/docker
# 配置 daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
}
}
EOF
mkdir -p /etc/systemd/system/docker.service.d
# 重啟docker服務
systemctl daemon-reload && systemctl restart docker && systemctl enable docker

 

需要使用到的鏡像及軟件包

 

在主節點啟動Haproxy與Keepalived容器

導入腳本 > 運行 > 查看可用節點  (也可以通過手動安裝通過Nginx實現反向代理)
睿雲的方案
mkdir -p /usr/local/kubernetes/install
cd !$
導入鏡像及文件，5個文件
haproxy和keepalived.tar是睿雲廠商編寫的
kubeadm-basic.images.tar是k8s 1.15版本的基礎鏡像文件
load-images.sh 是加載鏡像腳本
start.keep.tart.gz 是啟動+部署腳本

scp /usr/local/kubernetes/install/* root@k8s-master02:/usr/local/kubernetes/install/
scp /usr/local/kubernetes/install/* root@k8s-master03:/usr/local/kubernetes/install/

[root@k8s-master01 install]# docker load -i haproxy.tar  #docker導入haproxy鏡像
[root@k8s-master01 install]# docker load -i keepalived.tar　　#導入keepalived鏡像
[root@k8s-master01 install]# tar -zxvf kubeadm-basic.images.tar.gz
[root@k8s-master01 install]# chmod a+x load-images.sh 
[root@k8s-master01 install]# ./load-images.sh #腳本批量加載k8s基礎部署鏡像

 

[root@k8s-master01 install]# tar -zxvf start.keep.tar.gz
[root@k8s-master01 install]# mv data/ /
[root@k8s-master01 install]# cd /data/lb
[root@k8s-master01 lb]# vim /data/lb/etc/haproxy.cfg
server rancher01 192.168.66.10:6443
注意：haproxy.cfg配置中負載的配置地址先只寫一個，都部署完了再全部添加上，
因為如果同時寫三個部署集群，未被部署的節點可能會被請求到，就會報錯了。

[root@k8s-master01 lb]# sh start-haproxy.sh
[root@k8s-master01 lb]# netstat -anpt | grep 6444

[root@k8s-master01 lb]# vim start-keepalived.sh 
VIRTUAL_IP=192.168.66.100  #虛擬高可用IP(VIP)
INTERFACE=ens33 #當前網卡名稱
[root@k8s-master01 lb]# sh start-keepalived.sh 

 

集群安裝

添加阿里雲 YUM 軟件源

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

  

安裝 kubeadm， kubelet 和 kubectl

由於版本更新頻繁，這里指定版本號部署

yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
systemctl enable kubelet.service

 

部署 Kubernetes Master

 前面已經執行了，./load-images.sh加載該目錄下所有鏡像(這里也可以參考前面的安裝筆記一，自動下載部署的方式)

 

#獲取默認初始化模板
kubeadm config print init-defaults > kubeadm-config.yaml 

修改后如下：
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.66.10
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master01
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controlPlaneEndpoint: "192.168.66.100:6444" #高可用地址(VIP)
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: k8s.gcr.io
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
networking:
  dnsDomain: cluster.local
  podSubnet: "10.244.0.0/16"  #pod地址池
  serviceSubnet: 10.96.0.0/12
scheduler: {}

#初始化主節點
kubeadm init --config=kubeadm-config.yaml --experimental-upload-certs | tee kubeadm-init.log

#--experimental-upload-certs 自動頒發證書

 

kubeadm-init.log日志如下：

 

 

加入其他master節點

master02/03都執行如下導入安裝加載等操作，並啟動keepalive、haproxy

[root@k8s-master01 lb]# scp -r /data root@k8s-master02:/
[root@k8s-master01 lb]# scp -r /data root@k8s-master03:/

k8s-master02/03：
[root@k8s-master02 install]# pwd
/usr/local/kubernetes/install
[root@k8s-master02 install]# 
docker load -i haproxy.tar 
docker load -i keepalived.tar
cd /data/lb/
sh start-haproxy.sh
sh start-keepalived.sh

 

同樣都需要安裝 kubeadm， kubelet 和 kubectl

$ cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

yum install -y kubelet-1.18.0 kubeadm-1.18.0 kubectl-1.18.0
systemctl enable kubelet.service

 

通過master01初始化日志(kubeadm-init.log)可以知道，添加master節點還需要執行下面步驟：

使用kubectl命令行管理工具(三台都需要執行)：

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

#此時kubectl就可以使用了
#查看節點
$ kubectl get nodes
NAME　　　　　　　　STATUS　　　　ROLES　　　　AGE　　　　VERSION
k8s-master01　　　NotReady　　　master　　　 4m13s　　　v1.15.1

 

添加master02/03節點：

 

然后把所有haproxy配置文件補全：

 

修改了haproxy后需要重新創建

docker ps

 

刪除原節點信息，重新創建

docker rm -f HAProxy-K8S && bash /data/lb/start-haproxy.sh

 

其他機器同樣需要替換

[root@k8s-master01 ~]# scp /data/lb/etc/haproxy.cfg root@k8s-master02:/data/lb/etc/haproxy.cfg
[root@k8s-master01 ~]# scp /data/lb/etc/haproxy.cfg root@k8s-master03:/data/lb/etc/haproxy.cfg

[root@k8s-master02 ~]# docker rm -f HAProxy-K8S && bash /data/lb/start-haproxy.sh
[root@k8s-master03 ~]# docker rm -f HAProxy-K8S && bash /data/lb/start-haproxy.sh

 

Etcd 集群狀態查看 

kubectl -n kube-system exec etcd-k8s-master01 -- etcdctl \   #"etcd-k8s-master01":容器名
--endpoints=https://192.168.66.10:2379 \ 
--ca-file=/etc/kubernetes/pki/etcd/ca.crt \ 
--cert-file=/etc/kubernetes/pki/etcd/server.crt \ 
--key-file=/etc/kubernetes/pki/etcd/server.key cluster-health 

kubectl get endpoints kube-controller-manager --namespace=kube-system -o yaml 
kubectl get endpoints kube-scheduler --namespace=kube-system -o yaml

 

查看etcd集群狀態

 

kube-controller-manager集群狀態：

 

kube-scheduler集群狀態：

 

 

 后續也可以通過master01初始化日志添加nodes節點

 

 部署網絡

每個節點都構建flannel網絡插件

mkdir -p install-k8s/core
mv kubeadm-init.log kubeadm-config.yaml install-k8s/core
cd install-k8s/
mkdir -p plugin/flannel
cd plugin/flannel

wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl create -f kube-flannel.yml #可以通過flannel的資源清單創建相應文件

#查看pod運行狀態(-n kube-system 指定名稱空間-系統組件默認安裝位置，必須指定,不加默認使用default的名稱空間)
kubectl get pod -n kube-system
#可以查看到flannel組件運行了

#現在再查看節點
kubectl get nodes
NAME　　　　　　　　STATUS　　　　ROLES　　　　AGE　　　　VERSION
k8s-master01　　　Ready　　　master　　　 4m13s　　　v1.15.1

 

結構圖：

 

總結：

以上實驗部署了三個kebunetes的master節點，防止了master單點故障，保證了master主節點的高可用性。

mastre節點需要部署etcd、apiserver、controller-manager、schedule這4種服務，

其中etcd、controller-manager、schedule這三種服務kubernetes自身已經實現了高可用，

在多master節點的情況下，每個master節點都會啟動這三種服務，同一時間只有一個生效。

因此要實現kubernetes的高可用，只需要apiserver服務高可用。

解析：

etcd：kubernetes的后端數據庫，k/v方式存儲，所有的k8s集群數據都存放在此處。保存了整個集群的狀態

apiserver：對外暴露K8S的api接口，是外界進行資源操作的唯一入口，並提供認證、授權、訪問控制、API注冊和發現等機制

controller-manager：負責維護集群的狀態，比如故障檢測、自動擴展、滾動更新等，它們是處理集群中常規任務的后台線程

schedule：負責資源的調度，按照預定的調度策略將Pod調度到相應的機器上；就是監視新創建的 Pod，如果沒有分配節點，就選擇一個節點供他們運行，這就是pod的調度

 

原理：

將所有node節點對master的api請求通過負載均衡(haproxy)指向虛擬ip(keepalived)，而此虛擬ip由所有master節點通過優先級選舉。

使用keepalived對外提供穩定的入口，使用haproxy對內均衡負載，所以keepalived對外的VIP多為公網IP。

因為haproxy運行在master節點上，當master節點異常后，haproxy服務也會停止，為了避免這種情況，

我們在每一台master節點都部署haproxy服務，達到haproxy服務高可用的目的。

由於多master節點會出現投票競選的問題，因此master節點的數據最好是單數，避免票數相同的情況