一、環境准備
k8s集群master1：192.168.229.90 kube-apiserver kube-controller-manager kube-scheduler etcd
k8s集群node1: 192.168.229.80 kubelet kube-proxy docker flannel
k8s集群node2: 192.168.229.70 kubelet kube-proxy docker flannel
至少2C2G
常見的k8s部署方式
●Mini kube
Minikube是一個工具，可以在本地快速運行一個單節點微型K8s，僅用於學習預覽K8s的一些特性使用
部署地址: https: / /kubernetes.io/docs/setup/minikube
●Kubeadmin
Kubeadmin也是一個工具，提供kubeadm init和kubeadm join，用於快速部署K8S集群，相對簡單
https: / /kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/
●二進制安裝部署
生產首選，從官方下載發行版的二進制包，手動部署每個組件和自簽TLS證書，組成K8s集群，新手推薦
https: / /github.com/kubernetes/kubernetes/releases
小結：kubeadm降低部署門檻，但屏蔽了很多細節，遇到問題很難排查，如果想更容易可控，推薦使用二進制包部署kubernetes集群，雖然手動部署麻煩點，期間可以學習很多工作原理，也利於后期維護。
關閉防火牆
systemctl stop firewalld systemctl disable firewalld
關閉selinux
setenforce 0 sed -i 's/enforcing/disabled/' /etc/selinux/config
關閉swap
swapoff -a sed -ri 's/.*swap.*/#&/' /etc/fstab
根據規划設置主機名
hostnamectl set-hostname master01 hostnamectl set-hostname node01 hostnamectl set-hostname node02
在master添加hosts
cat >> /etc/hosts <<EOF 192.168.229.90 master01 192.168.229.80 node01 192.168.229.70 node02
EOF
將橋接的IPv4流量傳遞到iptables的鏈
cat > /etc/sysctl.d/k8s.conf <<EOF net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-ip6tables = 1 EOF
sysctl --system
時間同步
yum -y install ntpdate ntpdate time.windows.com
二、部署etcd集群
etcd作為服務發現系統，有以下的特點:
• 簡單、安裝配置簡單，而且提供了HTTP API進行交互，使用也很簡單
• 安全: 支持SSL證書驗證
• 快速: 單實例支持每秒2k+讀操作
• 可靠: 采用raft算法實現分布式系統數據的可用性和一致性
准備簽發證書環境：
CFSSL是CloudFlare 公司開源的一款PKI/TLS工具。CESSL 包含一個命令行工具和一個用於簽名、驗證和捆綁TLS證書的HTTP API服務。使用Go語言編寫。
CFSSL使用配置文件生成證書，因此自簽之前，需要生成它識別的json 格式的配置文件，CFSSL 提供了方便的命令行生成配置文件。
CFSSL用來為etcd提供TLS證書，它支持簽三種類型的證書:
1、client證書，服務端連接客戶端時攜帶的證書，用於客戶端驗證服務端身份，如kube-apiserver 訪問etcd;
2、server證書，客戶端連接服務端時攜帶的證書，用於服務端驗證客戶端身份，如etcd對外提供服務:
3、peer證書，相互之間連接時使用的證書，如etcd節點之間進行驗證和通信。
這里全部都使用同一套證書認證。
注：etcd這里就不做集群了，直接部署在master節點上
1、master節點部署
==下載證書制作工具==
curl -L https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -o /usr/local/bin/cfssl curl -L https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -o /usr/local/bin/cfssljson curl -L https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -o /usr/local/bin/cfssl-certinfo
或者
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 -O /usr/local/bin/cfssl wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 -O /usr/local/bin/cfssljson wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 -O /usr/local/bin/cfssl-certinfo
chmod +x /usr/local/bin/cfssl /usr/local/bin/cfssljson /usr/local/bin/cfssl-certinfo chmod +x /usr/local/bin/cfssl
=================================
cfssl: 證書簽發的工具命令
cfssljson: 將cfssl 生成的證書( json格式)變為文件承載式證書
cfssl-certinfo:驗證證書的信息
cfssl-certinfo -cert <證書名稱>
#查看證書的信息
=================================
//創建k8s工作目錄
mkdir /opt/k8s cd /opt/k8s/
//上傳etcd-cert.sh 和etcd.sh 到/opt/k8s/ 目錄中
文件下載：etcd-cert.sh etcd.sh
chmod +x etcd-cert.sh etcd. sh
//創建用於生成CA證書、etcd服務器證書以及私鑰的目錄
mkdir /opt/k8s/etcd-cert mv etcd-cert.sh etcd-cert/ cd /opt/k8s/etcd-cert/ ./etcd-cert.sh
#生成CA證書、etcd服務器證書以及私鑰
//etcd二進制包地址: https://github.com/etcd-io/etcd/releases
//上傳etcd-v3.3.10-1inux-amd64.tar.gz 到/opt/k8s/ 目錄中，解壓etcd 壓縮包
cd /opt/k8s/ tar zxvf etcd-v3.3.10-linux-amd64.tar.gz 1s etcd-v3.3.10-linux-amd64 Documentation etcd etcdctl README-etcdctl.md README.md READMEv2-etcdctl.md
==========================
etcd就是etcd服務的啟動命令，后面可跟各種啟動參數
etcdct1主要為etcd服務提供了命令行操作
============================
//創建用於存放etcd配置文件，命令文件，證書的目錄
mkdir -p /opt/etcd/{cfg,bin,ssl}
mv /opt/k8s/etcd-v3.3.10-linux- amd64/etcd /opt/k8s/etcd-v3.3.10-1inux-amd64/etcdct1 /opt/etcd/bin/
cp /opt/k8s/etcd-cert/*.pem /opt/etcd/ssl/
./etcd.sh etcd01 192.168.229.90 etcd02=https://192.168.229.80:2380,etcd03=https://192.168.229.70:2380
//進入卡住狀態等待其他節點加入，這里需要三台etcd服務同時啟動，如果只啟動其中一台后，服務會卡在那里，直到集群中所有etcd節點都已啟動，可忽略這個情況
/另外打開一個窗口查看etcd進程是否正常
ps -ef | grep etcd
//把etcd相關證書文件和命令文件全部拷貝到另外兩個etcd集群節點
scp -r /opt/etcd/ root@192.168.229.80:/opt/ scp -r /opt/etcd/ root@192.168.229.70:/opt/
//把etcd服務管理文件拷貝到另外兩個etcd集群節點
scp /usr/lib/systemd/system/etcd.service root@192.168.229.80:/usr/lib/systemd/system/ scp /usr/lib/systemd/system/etcd.service root@192.168.229.70:/usr/lib/systemd/system/
2、在node1與node2節點修改
在node1節點修改
cd /opt/etcd/cfg/ vim etcd #[Member] ETCD_NAME="etcd02" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.200.40:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.200.40:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.200.40:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.200.40:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.200.10:2380,etcd02=https://192.168.200.40:2380,etcd03=https://192.168.200.60:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"
systemctl daemon-reload
systemctl enable --now etcd.service
在node2節點修改
cd /opt/etcd/cfg/ vim etcd #[Member] ETCD_NAME="etcd03" ETCD_DATA_DIR="/var/lib/etcd/default.etcd" ETCD_LISTEN_PEER_URLS="https://192.168.200.60:2380" ETCD_LISTEN_CLIENT_URLS="https://192.168.200.60:2379" #[Clustering] ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.200.60:2380" ETCD_ADVERTISE_CLIENT_URLS="https://192.168.200.60:2379" ETCD_INITIAL_CLUSTER="etcd01=https://192.168.200.10:2380,etcd02=https://192.168.200.40:2380,etcd03=https://192.168.200.60:2380" ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster" ETCD_INITIAL_CLUSTER_STATE="new"
systemctl daemon-reload
systemctl enable --now etcd.service
3、在master1節點上進行啟動
首先在master1節點上進行啟動
cd /root/k8s/ ./etcd.sh etcd01 192.168.229.90 etcd02=https://192.168.229.80:2380,etcd03=https://192.168.229.70:2380
接着在node1和node2節點分別進行啟動
systemctl start etcd.service
在master1 節點上操作
1n -s /opt/etcd/bin/etcd* /usr/1oca1/bin
//檢查etcd群集狀態
cd /opt/etcd/ss1 /opt/etcd/bin/etcdctl \ --ca-file-ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379" \ cluster-health
-----------------------------------------------
--cert-file:識別HTTPS端使用sSL證書文件
--key-file: 使用此SSL密鑰文件標識HTTPS客戶端
-ca-file:使用此CA證書驗證啟用https的服務器的證書
--endpoints:集群中以逗號分隔的機器地址列表
cluster-health:檢查etcd集群的運行狀況
-----------------------------------------------
//切換到etcd3版本查看集群節點狀態和成員列表
export ETCDCTL_API=3 #v2和v3命令略有不同，etcd2 和etcd3也是不兼容的，默認是v2版本 etcdctl --write-out=table endpoint status etcdctl --write-out-table member list export ETCDCTL_API=2 #再切回v2版本
部署docker引擎
所有node節點部署docker引擎
yum install -y yum-utils device-mapper-persistent-data 1vm2 yum-config-manager --add-repo https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum install -y docker-ce dqsker-ce-cli containerd.io systemctl start docker.service systemct1 enable docker.service
三、flannel網絡配置
flannel網絡配置
K8S中Pod網絡通信:
●Pod內容器與容器之間的通信
在同一個Pod內的容器(Pod內的容器是不會跨宿主機的)共享同一個網絡命令空間，相當於它們在網一台機器上一樣，可以用localhost地址訪間彼此的端口
●同一個Node內Pod之間的通信
每個Pod 都有一個真實的全局IP地址，同一個Node 內的不同Pod之間可以直接采用對方Pod的IP 地址進行通信，Pod1 與Pod2都是通過veth連接到同一個docker0 網橋，網段相同，所以它們之間可以直接通信
●不同Node上Pod之間的通信
Pod地址與docker0 在同一網段，dockor0 網段與宿主機網卡是兩個不同的網段，且不同Nodo之間的通信貝能通過宿主機的物理網卡進行
要想實現不同Node 上Pod之間的通信，就必須想辦法通過主機的物理網卡IP地址進行尋址和通信。
因此要滿足兩個條件:
Pod 的IP不能沖突:
將Pod的IP和所在的Node的IP關聯起來，通過這個關聯讓不同Node上Pod之間直接通過內網IP地址通信。
===Overlay Network:===
疊加網絡，在二層或者三層基礎網絡上疊加的一種虛擬網絡技術模式，該網絡中的主機通過虛擬鏈路隧道連接起來(類似於VPN)
===VXLAN:===
將源數據包封裝到UDP中，並使用基礎網絡的IP/MAC作為外層報文頭進行封裝，然后在以太網上傳輸，到達目的地后由隧道端點解封裝並將數據發送給目標地址
===Flannel:===
Flannel的功能是讓集群中的不同節點主機創建的Docker容器都具有全集群唯一的虛擬IP地址
Flannel是Overlay 網絡的一種，也是將TCP 源數據包封裝在另一種網絡 包里而進行路由轉發和通信，目前己經支持UDP、VXLAN、AwS VPC等數據轉發方式
===ETCD之Flannel 提供說明:===
存儲管理Flanne1可分配的IP地址段資源
監控ETCD中每個Pod 的實際地址，並在內存中建立維護Pod 節點路由表
Flannel工作原理:
node1上的pod1 要和node2上的pod1進行通信
1.數據從node1上的Pod1源容器中發出，經由所在主機的docker0 虛擬網卡轉發到flannel0虛擬網卡；
2.再由flanneld把pod ip封裝到udp中（里面封裝的是源pod IP和目的pod IP);
3.根據在etcd保存的路由表信息，通過物理網卡發送給目的node2的flanneld，來進行解封裝暴露出udp里的pod IP;
4.最后根據目的pod IP經flannel0虛擬網卡和docker0虛擬網卡轉發到目的pod中，最后完成通信
在master1 節點 添加flannel 網絡配置信息
在master1 節點上操作
//添加flannel 網絡配置信息，寫入分配的子網段到etcd 中，供flannel使用
cd /opt/etcd/ss1
/opt/etcd/bin/etcdct1 \
--ca-file=ca.pem \
--cert-file=server.pem \
--key-file=server-key.pem \
--endpoints="https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379" \
set /coreos.com/network/config '{"Network": "172.17.0.0/16","Backend": {"Type": "vxlan"}}'
//查看寫入的信息
/opt/etcd/bin/etcdctl \ --ca-file=ca.pem \ --cert-file=server.pem \ --key-file=server-key.pem \ --endpoints="https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379" \ get /coreos.com/network/config
---------------------------------------------------------
set /coreos.com/network/confiq添加一條網絡配置記求，這個配置將用於flannel分配給每個docker的虛擬IP地址段
get <ckey>
got /coreos.com/octwork/config獲取網絡配置記錄，后面不用再跟參數了
Network:用於指定Flane1地址池
Backend:用於指定數據包以什么方式轉發，默認為udp模式，Backend為vxlan比起預設的udp性能相對好一些
在所有node節點上操作
在所有node節點上操作
//上傳flannel.sh 和flanne1-v0.10.0-1inux-amd64.tar.gz 到/opt 目錄中，解壓flannel 壓縮包
文件下載：flannel.sh
cd /opt tar zxvf flannel-v0.10.0-1inux-amd64.tar.gz flanneld #flanneld為主要的執行文件 mk-docker-opts.sh #mk-docker-opts . sh腳本用於生成Docker啟動參數 README.md
//創建kubernetes工作目錄
mkdir -p /opt/kubernetes/{cfg,bin,ss1}
cd /opt
mv mk-docker-opts.sh flanneld /opt/kubernetes/bin/
//啟動flanneld服務，開啟flanne1網絡功能
cd /opt chmod +x flannel.sh ./flannel.sh https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379
//flanne1啟動后會生成一個docker網絡相關信息配置文件/run/flannel/subnet.env，包含了docker要使用flannel通訊的相關參數
cat /run/flannel/subnet.env DOCKER_OPT_BIP="--bip=172.17.26.1/24" DOCKER_OPT_IPMASQ="--ip-masq= false" DOCKER_OPT_MTU="--mtu=1450" DOCKER_NETWORK_OPTIONS=" --bip=172.17.26.1/24 --ip-masq=false --mtu=1450"
------------------------------------------------
--bip: 指定docker 啟動時的子網
--ip-masq: 設置ipmasq=false 關閉snat 偽裝策略
--mtu=1450:mtu要留出50字節給外層的vxlan封包的額外開銷使用
Flannel啟動過程解析:
1、從etcd中獲取network的配置信息
2、划分subnet， 並在etcd中進行注冊
3、將子網信息記錄到/run/flannel/subnet.env中
------------------------------------------------
//修改docker服務管理文件，配置docker連接flannel
vim /lib/systemd/system/docker.service [Service] Type=notify # the default is not to use systemd for cgroups because the delegate issues stillt # exists and systemd currently dges not support the cgroup feature set requi red # for containers run by docker EnvironmentFile=/run/flannel/subnet.env #添加 ExecStart=/usr/bin/dockerd $DOCKER_NETWORK_OPTIONS -H fd:// --containerd=/run/containerd/containerd.sock #修改 ExecReload=/bin/kill -s HUP $MAINPID TimeoutSec=0 RestartSec=2 Restart=always
//重啟docker服務
systemctl daemon-reload systemctl restart docker
ifconfig #查看flannel網絡
測試ping通對方docker0網卡 證明flannel起到路由作用
ping 172.17.91.1 docker run -it centos:7 /bin/bash #node1和node2都運行該命令 yum install net-tools -y #node1和node2都運行該命令 ifconfig //再次測試ping通兩個node中的centos:7容器
四、部署master組件
在master1 節點上操作
//上傳master.zip 和k8s-cert.sh 到/opt/k8s 目錄中，解壓master.zip 壓縮包
cd /opt/k8s/ unzip master.zip apiserver.sh scheduler.sh controller-manager.sh chmod +x * .sh
//創建kubernetes工作目錄
mkdir -p /opt/kubernetes/{cfg,bin,ssl}
//創建用於生成CA證書、相關組件的證書和私鑰的目錄
mkdir /opt/k8s/k8s-cert mv /opt/k8s/k8s-cert.sh /opt/k8s/k8s-cert cd /opt/k8s/k8s-cert/ ./k8s-cert.sh
#生成CA證書、相關組件的證書和私鑰
//controller-manager和kube-scheduler設置為只調用當前機器的apiserver, 使用127.0.0.1:8080 通信，因此不需要簽發證書
//復制CA證書、apiserver 相關證書和私鑰到kubernetes. 工作目錄的ssl子目錄中
cp ca*pem apiserver*pem /opt/kubernetes/ssl/
//上傳kubernetes-server-linux-amd64.tar.gz 到/opt/k8s/ 目錄中，解壓kubernetes 壓縮包
cd /opt/k8s/ tar zxvf kubernetes-server-linux-amd64.tar.gz
//復制master組件的關鍵命令文件到kubernetes. 工作目錄的bin子目錄中
cd /opt/k8s/kubernetes/server/bin cp kube-apiserver kubectl kube-controller-manager kube-scheduler /opt/kubernetes/bin/ 1n -s /opt/kubernetes/bin/* /usr/local/bin/
//創建bootstrap token 認證文件，apiserver 啟動時會調用，然后就相當於在集群內創建了一個這個用戶，接下來就可以用RBAC給他授權
cd /opt/k8s/
vim token.sh
#!/bin/bash
#獲取隨機數前16個字節內容，以十六進制格式輸出，並刪除其中空格
BOOTSTRAP_TOKEN=$(head -e 16 /dev/urandom | od -An -t x | tr -d ‘ ’)
#生成token.csv 文件，按照Token序列號,用戶名,UID,用戶組的格式生成
cat > /opt/kubernetes/cfg/token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF
chmod +x token.sh
./token.sh
./apiserver.sh 192.168.229.90 https://192.168.229.90:2379,https://192.168.229.80:2379,https://192.168.229.70:2379
使用 head -c 16 /dev/urandom | od -An -t x | tr -d ' '可以隨機生成序列號,並創建token.csv文件，也可以使用腳本創建
二進制文件，token，證書都准備好，開啟apiserver
#檢查進程是否啟動成功
ps aux | grep kube-apiserver
//k8s通過kube- apiserver這 個進程提供服務，該進程運行在單個master節點上。默認有兩個端口6443和8080
//安全端口6443用於接收HTTPS請求，用於基於Token文件或客戶端證書等認證
//本地端口8080用於接收HTTP請求，非認證或授權的HTTP請求通過該端口訪問APIServer
netstat -natp| grep 8080
netstat -natp | grep 6443
//查看版本信息(必須保證apiserver啟動正常，不然無法查詢到server的版本信息)
kubectl version
//啟動scheduler 服務
cd /opt/k8s/ ./scheduler.sh 127.0.0.1 ps aux | grep kube-scheduler
//啟動controller-manager服務
cd /opt/k8s/ ./controller-manager.sh 127.0.0.1
//查看節點狀態
kubectl get cs
五、部署node組件
部署node組件
======在master1 節點上操作======
//把kubelet、 kube-proxy拷貝到node 節點
cd /opt/k8s/kubernetes/server/bin scp kubelet kube-proxy root0192.168.229.80:/opt/kubernetes/bin/ scp kubelet kube-proxy root@192.168.229.70:/opt/kubernetes/bin/
======在node1 節點上操作======
//上傳node.zip 到/opt 目錄中，解壓node.zip 壓縮包，獲得kubelet.sh、 proxy.sh
cd /opt/ unzip node.zip
======在master1節點上操作=======
//創建用於生成kubelet的配置文件的目錄
mkdir /opt/k8s/kubeconfig
//上傳kubeconfig.sh 文件到/opt/k8s/kubeconfig 目錄中
#kubeconfig.sh文件包含集群參數(CA 證書、API Server 地址)，客戶端參數(上面生成的證書和私鑰)，集群context
上下文參數(集群名稱、用戶名)。Kubenetes 組件(如kubelet、 kube-proxy) 通過啟動時指定不同的kubeconfig文件可以切換到不同的集群，連接到apiserver
cd /opt/k8s/kubeconfig chmod +x kubeconfig.sh
//生成kubelet的配置文件
cd /opt/k8a/kubeconfig ./kubecontig.sh 192.168.229.90 /opt/k8s/k8s-cert/ 1s bootstrap.kubeconfig kubeconfig.sh kube-proxy.kubeconfig
//把配置文件bootstrap.kubeconfig、kube-proxy.kubeconfig拷貝到node節點
cd /opt/k8s/kubeconfig scp bootstrap.kubeconfig kube-proxy-kubeconfig root0192.168.229.80:/opt/kubernetes/cfg/ scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.229.70:/opt/kubernetes/cfg/
//RBAC授權，將預設用戶kubelet-bootatrap 與內置的ClusterRole system:node-bootatrapper 綁定到一起，使其能夠發起CSR請求
kubectl create clusterrolebinding kubelet-bootstrap --clusterrole=system:node-bootstrapper --user=kubelet-bootstrap
kubelet采用TLS Bootstrapping 機制，自動完成到kube -apiserver的注冊，在node節點量較大或者后期自動擴容時非常有用。
Master apiserver 啟用TLS 認證后，node 節點kubelet 組件想要加入集群，必須使用CA簽發的有效證書才能與apiserver 通信，當node節點很多時，簽署證書是一件很繁瑣的事情。因此Kubernetes 引入了TLS bootstraping 機制來自動頒發客戶端證書，kubelet會以一個低權限用戶自動向apiserver 申請證書，kubelet 的證書由apiserver 動態簽署。
kubelet首次啟動通過加載bootstrap.kubeconfig中的用戶Token 和apiserver CA證書發起首次CSR請求，這個Token被預先內置在apiserver 節點的token.csv 中，其身份為kubelet-bootstrap 用戶和system: kubelet- bootstrap用戶組:想要首次CSR請求能成功(即不會被apiserver 401拒絕)，則需要先創建一個ClusterRoleBinding， 將kubelet-bootstrap 用戶和system:node - bootstrapper內置ClusterRole 綁定(通過kubectl get clusterroles 可查詢)，使其能夠發起CSR認證請求。
TLS bootstrapping 時的證書實際是由kube-controller-manager組件來簽署的，也就是說證書有效期是kube-controller-manager組件控制的; kube-controller-manager 組件提供了一個--experimental-cluster-signing-duration
參數來設置簽署的證書有效時間:默認為8760h0m0s， 將其改為87600h0m0s， 即10年后再進行TLS bootstrapping 簽署證書即可。
也就是說kubelet 首次訪問API Server 時，是使用token 做認證，通過后，Controller Manager 會為kubelet生成一個證書，以后的訪問都是用證書做認證了。
------------------------------------------
//查看角色:
kubectl get clusterroles | grep system:node-bootstrapper
//查看已授權的角色:
kubectl get clusterrolebinding
======在node1節點上操作======
//使用kubelet.sh腳本啟動kubelet服務
cd /opt/ chmod +x kubelet.sh ./kubelet.sh 192.168.229.80
//檢查kubelet服務啟動
ps aux | grep kubelet
//此時還沒有生成證書
ls /opt/kubernetes/ssl/
======在master1 節點上操作======
//檢查到node1 節點的kubelet 發起的CSR請求，Pending 表示等待集群給該節點簽發證書.
kubectl get csr
//通過CSR請求
kubectl certificate approve node-csr-12DGPu__kpLSBsGUHpvGs6Q89B9aYysw9C61pAagDEA
//再次查看CSR請求狀態，Approved, Issued表示已授權CSR請求並簽發證書
kubectl get csr
//查看群集節點狀態，成功加入node1節點
kubectl get nodes
======在node1節點上操作======
//自動生成了證書和kubelet.kubeconfig 文件
ls /opt/kubernetes/cfg/kubelet.kubeconfig ls /opt/kubernetes/ssl/
//加載ip_vs模塊
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
//使用proxy.sh腳本啟動proxy服務
cd /opt/ chmod +x proxy.sh ./proxy.sh 192.168.229.80 systemctl status kube-proxy.service
======node2 節點部署======
##方法一 :
//在node1 節點上將kubelet.sh、 proxy.sh 文件拷貝到node2 節點
cd /opt/ scp kubelet.sh proxy.sh root@192.168.229.70:/opt/
//使用kubelet.sh腳本啟動kubelet服務
cd /opt/ chmod +x kubelet.sh ./kubelet.sh 192.168.229.70
//在master1 節點上操作,檢查到node2 節點的kubelet 發起的CSR請求，Pending 表示等待集群給該節點簽發證書.
kubectl get csr
//通過CSR請求
kubectl certificate approve node-csr-NOI-9vufTLIqJgMWq4fHPNPHKbjCX1DGHptj7FqTa8A
//再次查看CSR請求狀態，Approved, Issued表示已授權CSR請求並簽發證書
kubectl get csr
//查看群集節點狀態，成功加入node1節點
kubectl get nodes
//在node2 節點 加載ip_vs模塊
for i in $(ls /usr/lib/modules/$(uname -r)/kernel/net/netfilter/ipvs|grep -o "^[^.]*");do echo $i; /sbin/modinfo -F filename $i >/dev/null 2>&1 && /sbin/modprobe $i;done
//使用proxy.sh腳本啟動proxy服務
cd /opt/ chmod +x proxy.sh ./proxy.sh 192.168.229.70 systemctl status kube-proxy.service
測試連通性：
kubectl create deployment nginx-test --image=nginx:1.14 kubectl get pod kubectl get pod kubectl describe pod nginx-test-7dc4f9dcc9-vlzmk
