kubernetes組件架構圖：
集群機器
172.16.2.10 k8s-master 172.16.2.11 k8s-node1 172.16.2.12 k8s-node2
#查看Centos版本：
cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core)
##https://www.cnblogs.com/liucx/
#修改主機名：
#master節點: hostnamectl set-hostname k8s-master #node1節點： hostnamectl set-hostname k8s-node1 #node2節點: hostnamectl set-hostname k8s-node2
#修改/etc/hosts文件
cat >> /etc/hosts << EOF 172.16.2.10 k8s-master 172.16.2.11 k8s-node1 172.16.2.12 k8s-node2 EOF
#關閉防火牆和selinux
systemctl stop firewalld && systemctl disable firewalld sed -i 's/^SELINUX=enforcing$/SELINUX=disabled/' /etc/selinux/config && setenforce 0
#關閉swap
swapoff -a sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab
#Master免密登錄其它節點
ssh-keygen ssh-copy-id -i root@k8s-node1 ssh-copy-id -i root@k8s-node2
#安裝依賴包
yum -y install epel-release
yum -y install ntpdate ipvsadm ipset iptables curl sysstat libseccomp wget
#同步時間
ntpdate ntp.shu.edu.cn crontab -e */5 * * * * ntpdate ntp5.aliyun.com
#修改iptables相關參數
#RHEL / CentOS 7上的一些用戶報告了由於iptables被繞過而導致流量路由不正確的問題。創建/etc/sysctl.d/k8s.conf文件，添加如下內容：
cat <<EOF > /etc/sysctl.d/k8s.conf vm.swappiness = 0 net.bridge.bridge-nf-call-ip6tables = 1 net.bridge.bridge-nf-call-iptables = 1 net.ipv4.ip_forward = 1 EOF #使配置生效 modprobe br_netfilter sysctl -p /etc/sysctl.d/k8s.conf
#由於ipvs已經加入到了內核的主干，所以為kube-proxy開啟ipvs的前提需要加載以下的內核模塊：
#在所有的Kubernetes節點執行以下腳本:
cat > /etc/sysconfig/modules/ipvs.modules <<EOF #!/bin/bash modprobe -- ip_vs modprobe -- ip_vs_rr modprobe -- ip_vs_wrr modprobe -- ip_vs_sh modprobe -- nf_conntrack_ipv4 EOF
#執行腳本
chmod 755 /etc/sysconfig/modules/ipvs.modules && bash /etc/sysconfig/modules/ipvs.modules && lsmod | grep -e ip_vs -e nf_conntrack_ipv4
#上面腳本創建了/etc/sysconfig/modules/ipvs.modules文件，保證在節點重啟后能自動加載所需模塊。 使用lsmod | grep -e ip_vs -e nf_conntrack_ipv4命令查看是否已經正確加載所需的內核模塊。
#卸載docker舊版本
yum remove -y docker \ docker-client \ docker-client-latest \ docker-common \ docker-latest \ docker-latest-logrotate \ docker-logrotate \ docker-selinux \ docker-engine-selinux \ docker-engine
#安裝docker
yum install -y yum-utils device-mapper-persistent-data lvm2 yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo yum makecache fast yum -y install docker-ce systemctl start docker && systemctl enable docker
#配置鏡像加速器
cat >/etc/docker/daemon.json <<EOF { "registry-mirrors": ["https://docker.mirrors.ustc.edu.cn"] } EOF systemctl restart docker
#配置kubernetes的阿里雲yun源
cat > /etc/yum.repos.d/kubernetes.repo <<EOF [kubernetes] name=Kubernetes repo baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/ gpgcheck=0 gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg enabled=1 EOF
#安裝指定版本kubelet、kubeadm、kubectl
#1.kubelet 在群集中所有節點上運行的核心組件, 用來執行如啟動pods和containers等操作。
#2.kubeadm 引導啟動k8s集群的命令行工具，用於初始化 Cluster。
#3.kubectl 是 Kubernetes 命令行工具。通過 kubectl 可以部署和管理應用，查看各種資源，創建、刪除和更新各種組件
#在所有節點上安裝指定版本 kubelet、kubeadm 和 kubectl
yum install -y kubelet-1.17.2 kubeadm-1.17.2 kubectl-1.17.2
#修改docker Cgroup Driver為systemd
#將/usr/lib/systemd/system/docker.service文件中的這一行 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock
#修改為 ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd
#如果不修改，在添加Node節點時可能會碰到如下錯誤
# [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd".
# Please follow the guide at https://kubernetes.io/docs/setup/cri/
sed -i "s#^ExecStart=/usr/bin/dockerd.*#ExecStart=/usr/bin/dockerd -H fd:// --containerd=/run/containerd/containerd.sock --exec-opt native.cgroupdriver=systemd#g" /usr/lib/systemd/system/docker.service systemctl daemon-reload systemctl restart docker
#啟動kubelet服務
systemctl enable kubelet && systemctl start kubelet
注：此時執行 systemctl status kubelet 命令，將得到 kubelet 啟動失敗的錯誤提示，請忽略此錯誤，因為必須完成后續步驟中 kubeadm init 的操作，kubelet 才能正常啟動
#Master節點執行初始化
kubeadm init \ --apiserver-advertise-address=172.16.2.10 \ --image-repository registry.aliyuncs.com/google_containers \ --kubernetes-version v1.17.2 \ --pod-network-cidr=10.244.0.0/16 --apiserver-advertise-address：API服務器將通知它正在監聽的IP地址，監聽的地址為“0.0.0.0”，即本機所有IP地址。 --apiserver-bind-port：API服務器綁定到的端口。(默認：6443) --image-repository:Kubenetes默認Registries地址是 k8s.gcr.io，在國內並不能訪問 gcr.io,將其指定為阿里雲鏡像地址：registry.aliyuncs.com/google_containers --ignore-preflight-errors：將錯誤顯示為警告的檢查列表進行忽略。例如:“IsPrivilegedUser,Swp”。Value 'all'忽略所有檢查中的錯誤。 --pod-network-cidr：指定pod網絡的IP地址范圍。如果設置，控制平面將為每個節點自動分配CIDRs。 --service-cidr：為service VIPs使用不同的IP地址。(默認“10.96.0.0/12”)
#上面日志會生成以下信息（重要記錄）
kubeadm join 172.16.2.10:6443 --token a63pm3.gqg0nc7dphukxohv \ --discovery-token-ca-cert-hash sha256:5bfcffc542f4aecdecb1ad5250d1ac6fe202d0d36433065eb31a83dbe56733eb #默認token的有效期為24小時，當過期之后，該token就不可用了。 #如果后續有nodes節點加入，解決方法如下：重新生成新的token ==> kubeadm token create
#根據上面的輸出提示進行操作
mkdir -p $HOME/.kube cp -i /etc/kubernetes/admin.conf $HOME/.kube/config chown $(id -u):$(id -g) $HOME/.kube/config
#執行完之后，再查看nodes節點時，結果如下：
kubectl get nodes
#可以看出master的狀態是未就緒（NotReady），之所以是這種狀態是因為還缺少一個附件flannel或者Calico，沒有網絡各Pod是無法通信的。
#也可以通過檢查組件的健康狀態
kubectl get componentstatus #componentstatus可簡寫為cs
#Node節點加入集群
#使用kubeadm join 注冊Node節點到Matser
#kubeadm join 的內容，在上面kubeadm init (kubeadm init輸出結果的最后寫明了) 已經生成好了
#此操作在node節點上進行操作
kubeadm join 172.16.2.10:6443 --token a63pm3.gqg0nc7dphukxohv \ --discovery-token-ca-cert-hash sha256:5bfcffc542f4aecdecb1ad5250d1ac6fe202d0d36433065eb31a83dbe56733eb
#安裝網絡插件
#一般的網絡無法訪問quay.io，可以找國內的鏡像源，或者從docker hub上拉取flannel的鏡像。
#手動拉取flannel鏡像
#在集群的所有機器上操作，手動拉取flannel的docker鏡像
docker pull easzlab/flannel:v0.11.0-amd64 # 修改鏡像名稱 docker tag easzlab/flannel:v0.11.0-amd64 quay.io/coreos/flannel:v0.11.0-amd64 docker rmi easzlab/flannel:v0.11.0-amd64 docker images
#安裝flannel
#此操作在Master節點 上進行
#下載flannel資源配置清單
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml kubectl apply -f kube-flannel.yml
#部署完成后，我們可以通過 kubectl get 重新檢查 Pod 的狀態：
kubectl get pod -n kube-system -o wide #可以看到，所有的系統 Pod 都成功啟動了，而剛剛部署的flannel網絡插件則在 kube-system 下面新建了一個名叫kube-flannel-ds-amd64-lkf2f的 Pod，一般來說，這些 Pod 就是容器網絡插件在每個節點上的控制組件。 再次查看master和node節點狀態已經為ready狀態 kubectl get nodes
[root@k8s-master ~]# kubectl get pods --all-namespaces #查看所有名稱空間的pod，同時可以看到flannel已經正常啟動 NAMESPACE NAME READY STATUS RESTARTS AGE default nginx-86c57db685-q884q 1/1 Running 0 7m3s kube-system coredns-9d85f5447-jb8l2 1/1 Running 0 3h38m kube-system coredns-9d85f5447-zx2j5 1/1 Running 0 3h38m kube-system etcd-k8s-master 1/1 Running 0 3h38m kube-system kube-apiserver-k8s-master 1/1 Running 0 3h38m kube-system kube-controller-manager-k8s-master 1/1 Running 0 3h38m kube-system kube-flannel-ds-amd64-2plp7 1/1 Running 0 48m kube-system kube-flannel-ds-amd64-cnlbh 1/1 Running 0 48m kube-system kube-flannel-ds-amd64-zr88r 1/1 Running 0 48m kube-system kube-proxy-44fpd 1/1 Running 0 179m kube-system kube-proxy-5lrvp 1/1 Running 0 3h38m kube-system kube-proxy-c64px 1/1 Running 0 179m kube-system kube-scheduler-k8s-master 1/1 Running 0 3h38m
[root@k8s-master ~]# kubectl get pods -n kube-system #查看名稱空間為kube-system的pod
NAME READY STATUS RESTARTS AGE coredns-9d85f5447-jb8l2 1/1 Running 0 3h37m coredns-9d85f5447-zx2j5 1/1 Running 0 3h37m etcd-k8s-master 1/1 Running 0 3h37m kube-apiserver-k8s-master 1/1 Running 0 3h37m kube-controller-manager-k8s-master 1/1 Running 0 3h37m kube-flannel-ds-amd64-2plp7 1/1 Running 0 47m kube-flannel-ds-amd64-cnlbh 1/1 Running 0 47m kube-flannel-ds-amd64-zr88r 1/1 Running 0 47m kube-proxy-44fpd 1/1 Running 0 178m kube-proxy-5lrvp 1/1 Running 0 3h37m kube-proxy-c64px 1/1 Running 0 178m kube-scheduler-k8s-master 1/1 Running 0 3h37m
#Master節點安裝自動補全工具
yum install -y bash-completion source /usr/share/bash-completion/bash_completion source <(kubectl completion bash) echo "source <(kubectl completion bash)" >> ~/.bashrc
#測試Kubernetes集群
此操作在master節點 K8S00上進行
kubectl create deployment nginx --image=nginx
kubectl expose deployment nginx --port=80 --type=NodePort
kubectl get services nginx
#kubernetes集群可能出現pod或node節點狀態異常等情況，可以通過查看日志分析錯誤原因
#查看pod日志
kubectl -n kube-system logs -f <pod name>
#查看pod運行狀態及事件
kubectl -n kube-system describe pods <pod name>
完成！