一、多 Maser 集群架構的了解
Kubernetes作為容器集群系統，通過健康檢查+重啟策略實現了Pod故障自我修復能力，通過調度算法實現將Pod分布式部署，並保持預期副本數，根據Node失效狀態自動在其他Node拉起Pod，實現了應用層的高可用性。
針對Kubernetes集群，高可用性還應包含以下兩個層面的考慮：Etcd數據庫的高可用性和Kubernetes Master組件的高可用性。而Etcd我們已經采用3個節點組建集群實現高可用，本篇博客將對Master節點高可用進行說明和實施。
Master節點扮演着總控中心的角色，通過不斷與工作節點上的Kubelet進行通信來維護整個集群的健康工作狀態。如果Master節點故障，將無法使用kubectl工具或者API做任何集群管理。
Master節點主要有三個服務kube-apiserver、kube-controller-mansger和kube-scheduler，其中kube-controller-mansger和kube-scheduler組件自身通過選擇機制已經實現了高可用，所以Master高可用主要針對kube-apiserver組件，而該組件是以HTTP API提供服務，因此對他高可用與Web服務器類似，增加負載均衡器對其負載均衡即可，並且可水平擴容。
二、master2 節點部署
接上文進行實驗：見博文Kubernetes二進制部署 單節點
環境准備：
| 節點 | IP地址 | 安裝 |
| master01 | 192.168.229.90 | kube-apiserver，kube-controller-manager，kube-scheduler，etcd |
| node1 | 192.168.229.80 | kubelet，kube-proxy，docker etcd |
| node1 | 192.168.229.70 | kubelet，kube-proxy，docker etcd |
| master02 | 192.168.229.60 | kube-apiserver，kube-controller-manager，kube-scheduler，etcd |
| lb01 | 192.168.229.50 | Nginx L4 ,keepalived |
| lb02 | 192.168.229.40 | Nginx L4 ,keepalived |
關閉防火牆
systemctl stop firewalld systemctl disable firewalld
關閉swap
swapoff -a sed -ri 's/.*swap.*/#&/' /etc/fstab
根據規划設置主機名
hostnamectl set-hostname master02
在master節點以及各個Node節點均添加hosts
cat >> /etc/hosts <<EOF 192.168.229.90 master01 192.168.229.80 node01 192.168.229.70 node02 192.168.229.60 master02 EOF
將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-ip6tables = 1 EOF
sysctl --system
時間同步
yum -y install ntpdate ntpdate time.windows.com
1、從 master01 節點上拷貝證書文件、各master組件的配置文件和服務管理文件到 master02 節點
scp -r /opt/etcd/ root@192.168.229.60:/opt/
scp -r /opt/kubernetes/ root@192.168.229.60:/opt、
scp /usr/lib/systemd/system/{kube-apiserver,kube-controller-manager,kube-scheduler}.service root@192.168.229.60:/usr/lib/systemd/system/
2、修改配置文件kube-apiserver中的IP
vim /opt/kubernetes/cfg/kube-apiserver KUBE_APISERVER_OPTS="--logtostderr=true \ --v=4 \ --etcd-servers=https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379 \ --bind-address=192.168.229.60 \ #修改 --secure-port=6443 \ --advertise-address=192.168.229.60 \ #修改 ......
3、在 master02 節點上啟動各服務並設置開機自啟
systemctl daemon-reload
systemctl enable --now kube-apiserver.service kube-controller-manager.service kube-scheduler.service
4、查看node節點狀態
ln -s /opt/kubernetes/bin/* /usr/local/bin/ kubectl get nodes kubectl get nodes -o wide #-o=wide：輸出額外信息；對於Pod，將輸出Pod所在的Node名
此時在master02節點查到的node節點狀態僅是從etcd查詢到的信息，而此時node節點實際上並未與master02節點建立通信連接，因此需要使用一個VIP把node節點與master節點都關聯起來
三、負載均衡部署
配置load balancer集群雙機熱備負載均衡（nginx實現負載均衡，keepalived實現雙機熱備）
##### 在lb01、lb02節點上操作 #####
1、配置nginx的官方在線yum源，配置本地nginx的yum源
cat > /etc/yum.repos.d/nginx.repo << 'EOF' [nginx] name=nginx repo baseurl=http://nginx.org/packages/centos/7/$basearch/ gpgcheck=0 EOF yum install nginx -y
2、修改nginx配置文件，配置四層反向代理負載均衡，指定k8s群集2台master的節點ip和6443端口
vim /etc/nginx/nginx.conf
events {
worker_connections 1024;
}
#添加
stream {
log_format main '$remote_addr $upstream_addr - [$time_local] $status $upstream_bytes_sent';
access_log /var/log/nginx/k8s-access.log main;
upstream k8s-apiserver {
server 192.168.229.90:6443;
server 192.168.229.60:6443;
}
server {
listen 6443;
proxy_pass k8s-apiserver;
}
}
http {
......
3、檢查配置文件語法
nginx -t
4、啟動nginx服務，查看已監聽6443端口
systemctl start nginx systemctl enable nginx netstat -natp | grep nginx
5、部署keepalived服務
yum install keepalived -y
6、修改keepalived配置文件
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
# 接收郵件地址
notification_email {
acassen@firewall.loc
failover@firewall.loc
sysadmin@firewall.loc
}
# 郵件發送地址
notification_email_from Alexandre.Cassen@firewall.loc
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id NGINX_MASTER #lb01節點的為 NGINX_MASTER，lb02節點的為 NGINX_BACKUP
}
#添加一個周期性執行的腳本
vrrp_script check_nginx {
script "/etc/keepalived/check_nginx.sh" #指定檢查nginx存活的腳本路徑
}
vrrp_instance VI_1 {
state MASTER #lb01節點的為 MASTER，lb02節點的為 BACKUP
interface ens33 #指定網卡名稱 ens33
virtual_router_id 51 #指定vrid，兩個節點要一致
priority 100 #lb01節點的為 100，lb02節點的為 90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.80.30/24 #指定 VIP
}
track_script {
check_nginx #指定vrrp_script配置的腳本
}
}
其他多余的配置刪除
7、創建nginx狀態檢查腳本
vim /etc/keepalived/check_nginx.sh #!/bin/bash #egrep -cv "grep|$$" 用於過濾掉包含grep 或者 $$ 表示的當前Shell進程ID count=$(ps -ef | grep nginx | egrep -cv "grep|$$") if [ "$count" -eq 0 ];then systemctl stop keepalived fi chmod +x /etc/keepalived/check_nginx.sh
8、啟動keepalived服務（一定要先啟動了nginx服務，再啟動keepalived服務）
systemctl start keepalived systemctl enable keepalived ip a #查看VIP是否生成
10、修改node節點上的bootstrap.kubeconfig,kubelet.kubeconfig配置文件為VIP
cd /opt/kubernetes/cfg/ vim bootstrap.kubeconfig server: https://192.168.229.30:6443 vim kubelet.kubeconfig server: https://192.168.229.30:6443 vim kube-proxy.kubeconfig server: https://192.168.229.30:6443
三個配置文件修改相同，都修改為虛擬VIP即可，這里只展示一個文件的修改；兩個Node節點都需要修改
11、重啟kubelet和kube-proxy服務
systemctl restart kubelet.service systemctl restart kube-proxy.service
12、在lb01上查看nginx的k8s日志
tail /var/log/nginx/k8s-access.log
======在 master02節點上操作 ======
13、測試創建pod
kubectl create deployment redis-master02 --image=redis
14、查看Pod的狀態信息
kubectl get pods NAME READY STATUS RESTARTS AGE nginx-dbddb74b8-nf9sk 0/1 ContainerCreating 0 33s #正在創建中
kubectl get pods NAME READY STATUS RESTARTS AGE nginx-dbddb74b8-nf9sk 1/1 Running 0 80s #創建完成，運行中 kubectl get pods -o wide NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE nginx-dbddb74b8-26r9l 1/1 Running 0 10m 172.17.36.2 192.168.80.15 <none> //READY為1/1，表示這個Pod中有1個容器
15、在對應網段的node節點上操作，可以直接使用瀏覽器或者curl命令訪問
curl 172.17.54.2
16、這時在master01節點上查看nginx日志，發現沒有權限查看
kubectl logs nginx-dbddb74b8-nf9sk Error from server (Forbidden): Forbidden (user=system:anonymous, verb=get, resource=nodes, subresource=proxy) ( nginx-dbddb74b8-nf9sk)
17、在master01節點上，將cluster-admin角色授予用戶system:anonymous
kubectl create clusterrolebinding cluster-system-anonymous --clusterrole=cluster-admin --user=system:anonymous clusterrolebinding.rbac.authorization.k8s.io/cluster-system-anonymous created
再次查看nginx日志
kubectl logs nginx-dbddb74b8-nf9sk
四、部署 Dashboard UI
Dashboard 介紹
儀表板是基於Web的Kubernetes用戶界面。您可以使用儀表板將容器化應用程序部署到Kubernetes集群，對容器化應用程序進行故障排除，並管理集群本身及其伴隨資源。
您可以使用儀表板來概述群集上運行的應用程序，以及創建或修改單個Kubernetes資源（例如部署，作業，守護進程等）。
例如，您可以使用部署向導擴展部署，啟動滾動更新，重新啟動Pod或部署新應用程序。儀表板還提供有關群集中Kubernetes資源狀態以及可能發生的任何錯誤的信息。
====== 在 master1 節點上操作 ======
1、在k8s工作目錄中創建dashborad工作目錄
mkdir /opt/k8s/dashboard cd /opt/k8s/dashboard
//上傳Dashboard.zip壓縮包，並解壓，一共有7個文件，包含5個構建該界面的核心文件，一個k8s-admin.yaml文件是自己寫的，用來生成待會在瀏覽器中登錄時所用的令牌；一個dashboard-cert.sh，用來快速生成解決谷歌瀏覽器加密通信問題所需的證書文件
//核心文件官方下載資源地址：https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/dashboard
dashboard-configmap.yaml dashboard-rbac.yaml dashboard-service.yaml dashboard-controller.yaml dashboard-secret.yaml k8s-admin.yaml dashboard-cert.sh
------------------------------------------------------------------------------------------
1、dashboard-rbac.yaml：用於訪問控制設置，配置各種角色的訪問控制權限及角色綁定（綁定角色和服務賬戶），內容中包含對應各種角色所配置的規則（rules）
2、dashboard-secret.yaml：提供令牌，訪問API服務器所用（個人理解為一種安全認證機制）
3、dashboard-configmap.yaml：配置模板文件，負責設置Dashboard的文件，ConfigMap提供了將配置數據注入容器的方式，保證容器中的應用程序配置從 Image 內容中解耦
4、dashboard-controller.yaml：負責控制器及服務賬戶的創建，來管理pod副本
5、dashboard-service.yaml：負責將容器中的服務提供出去，供外部訪問
------------------------------------------------------------------------------------------
2、通過kubectl create 命令創建resources
cd /opt/k8s/dashboard
1、規定kubernetes-dashboard-minimal該角色的權限：例如其中具備獲取更新刪除等不同的權限
kubectl create -f dashboard-rbac.yaml
有幾個kind就會有幾個結果被創建，格式為kind+apiServer/name
role.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created rolebinding.rbac.authorization.k8s.io/kubernetes-dashboard-minimal created
//查看類型為 Role,RoleBinding 的資源對象 kubernetes-dashboard-minimal 是否生成
kubectl get role,rolebinding -n kube-system
//-n kube-system 表示查看指定命名空間中的pod，缺省值為default
3、證書和密鑰創建
kubectl create -f dashboard-secret.yaml secret/kubernetes-dashboard-certs created secret/kubernetes-dashboard-key-holder created
查看類型為 Secret 的資源對象 kubernetes-dashboard-certs,kubernetes-dashboard-key-holder 是否生成
kubectl get secret -n kube-system
4、配置文件，對於集群dashboard設置的創建
kubectl create -f dashboard-configmap.yaml configmap/kubernetes-dashboard-settings created
//查看類型為 ConfigMap 的資源對象 kubernetes-dashboard-settings 是否生成
kubectl get configmap -n kube-system
5、創建容器需要的控制器以及服務賬戶
kubectl create -f dashboard-controller.yaml serviceaccount/kubernetes-dashboard created deployment.apps/kubernetes-dashboard created
//查看類型為 ServiceAccount,Deployment 的資源對象 kubernetes-dashboard-settings 是否生成
kubectl get serviceaccount,deployment -n kube-system
6、將服務提供出去
kubectl create -f dashboard-service.yaml service/kubernetes-dashboard created
//查看創建在指定的 kube-system 命名空間下的 pod 和 service 狀態信息
kubectl get pods,svc -n kube-system -o wide
//svc 為 service 的縮寫，可用 kubectl api-resources 查看
NAME READY STATUS RESTARTS AGE IP NODE NOMINATED NODE pod/kubernetes-dashboard-7dffbccd68-c6d24 1/1 Running 1 11m 172.17.26.2 192.168.80.11 <none> NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE SELECTOR service/kubernetes-dashboard NodePort 10.0.0.75 <none> 443:30001/TCP 11m k8s-app=kubernetes-dashboard
7、dashboard分配給了node01服務器，訪問的入口是30001端口，打開瀏覽器訪問 https://nodeIP:30001 來進行測試
火狐瀏覽器可直接訪問：https://192.168.229.70:30001
谷歌瀏覽器則因為缺少加密通信的認證證書，導致無法直接訪問。可通過 菜單->更多工具->開發者工具->Security 查看訪問失敗的原因。
8、解決谷歌瀏覽器加密通信問題，使用的腳本 dashboard-cert.sh 來快速生成證書文件
cd /opt/k8s/dashboard/ vim dashboard-controller.yaml ...... args: # PLATFORM-SPECIFIC ARGS HERE - --auto-generate-certificates #在文件的第47行下面添加以下兩行，指定加密（tls）的私鑰和證書文件 - --tls-key-file=dashboard-key.pem - --tls-cert-file=dashboard.pem
9、執行腳本
cd /opt/k8s/dashboard/ chmod +x dashboard-cert.sh ./dashboard-cert.sh /opt/k8s/k8s-cert/
10、在 dashboard 工作目錄下將生成兩個證書
ls *.pem dashboard.pem dashboard-key.pem
11、重新進行部署（注意：當apply不生效時，先使用delete清除資源，再apply創建資源）
kubectl apply -f dashboard-controller.yaml
//由於可能會更換所分配的節點，所以要再次查看一下分配的節點服務器地址和端口號
kubectl get pods,svc -n kube-system -o wide
//再次進行訪問測試，選擇使用令牌方式登錄，使用 k8s-admin.yaml 文件進行創建令牌
cd /opt/k8s/dashboard/ kubectl create -f k8s-admin.yaml
#獲取token簡要信息，名稱為dashboard-admin-token-xxxxx
kubectl get secrets -n kube-system NAME TYPE DATA AGE dashboard-admin-token-kpmm8 kubernetes.io/service-account-token 3 default-token-7dhwm kubernetes.io/service-account-token 3 kubernetes-dashboard-certs Opaque 11 kubernetes-dashboard-key-holder Opaque 2 kubernetes-dashboard-token-jn94c kubernetes.io/service-account-token 3
//查看令牌序列號，取 token: 后面的內容
kubectl describe secrets dashboard-admin-token-kpmm8 -n kube-system
//將令牌序列號復制填入到瀏覽器頁面中，點擊登錄
先通過 kubectl get pods 命令查看一下集群中是否有資源在運行，再在 Dashboard UI 界面中命令空間選 default，
點擊側邊欄中的“容器組”，點擊容器名稱，進入一個頁面，點擊右上方的“運行命令”或”日志“控件會彈出另一個額外頁面，可在“運行命令”輸入 curl <podip> 命令訪問容器，再通過dashboard頁面查看日志更新結果。
