CentOS7 部署K8S集群

 

虛擬機：   VMware® Workstation 12 Pro 12.5.9 build-7535481
操作系統：CentOS Linux release 7.6.1810 (Core)

 

部署規划

192.168.38.11     k8s-master
192.168.38.12     k8s-node1
192.168.38.13     k8s-node2

 

備注：第1步~第8步，所有的節點都要操作，第9、10步Master節點操作，第11步Node節點操作。

           如果第9、10、11步操作失敗，可以通過 kubeadm reset 命令來清理環境重新安裝。

 

1.關閉防火牆

$ systemctl stop firewalld

備注：必須關閉

 

 

2.關閉selinux

$ setenforce 0

 

 

3.關閉swap

$ swapoff -a    臨時關閉

$ free             可以通過這個命令查看swap是否關閉了

 

$ vim /etc/fstab  永久關閉

備注：必須關閉

 

 

4.添加主機名與IP對應的關系

 

$ vim /etc/hosts

 添加如下內容：

192.168.38.11     k8s-master
192.168.38.12     k8s-node1
192.168.38.13     k8s-node2

　　

 

5.將橋接的IPV4流量傳遞到iptables 的鏈

 

$ cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
$ sysctl --system

　　

 

6.安裝Docker

 

1）下載並安裝

$ wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O/etc/yum.repos.d/docker-ce.repo
$ yum -y install docker-ce-18.06.1.ce-3.el7

　　

2）設置開機啟動

$ systemctl enable docker
$ systemctl start docker

 

3）查看Docker版本

$ docker --version
Docker version 18.06.1-ce, build e68fc7a

　　

 

 

7.添加阿里雲YUM軟件源

直接執行如下命令

cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

　　

 

8.安裝kubeadm，kubelet和kubectl

在部署kubernetes時，要求master node和worker node上的版本保持一致，否則會出現版本不匹配導致奇怪的問題出現。本文將介紹如何在CentOS系統上，使用yum安裝指定版本的Kubernetes。

我們需要安裝指定版本的kubernetes。那么如何做呢？在進行yum安裝時，可以使用下列的格式來進行安裝：

yum install -y kubelet-<version> kubectl-<version> kubeadm-<version>

 

$ yum install -y kubelet-1.13.3 kubectl-1.13.3 kubeadm-1.13.3 kubernetes-cni-1.13.3

如果出現如下提示：

錯誤：軟件包：kubelet-1.13.3-0.x86_64 (kubernetes)
          需要：kubernetes-cni = 0.6.0
          可用: kubernetes-cni-0.3.0.1-0.07a8a2.x86_64 (kubernetes)
              kubernetes-cni = 0.3.0.1-0.07a8a2
          可用: kubernetes-cni-0.5.1-0.x86_64 (kubernetes)
              kubernetes-cni = 0.5.1-0
          可用: kubernetes-cni-0.5.1-1.x86_64 (kubernetes)
              kubernetes-cni = 0.5.1-1
          可用: kubernetes-cni-0.6.0-0.x86_64 (kubernetes)
              kubernetes-cni = 0.6.0-0
          正在安裝: kubernetes-cni-0.7.5-0.x86_64 (kubernetes)
              kubernetes-cni = 0.7.5-0
 您可以嘗試添加 --skip-broken 選項來解決該問題
 您可以嘗試執行：rpm -Va --nofiles --nodigest

　　

只需要清除yum 緩存即可，然后再執行安裝命令

$ yum clean all 

如果還不行，查看  https://blog.csdn.net/zqtsx/article/details/39207069 

 

 

如果還不行，則直接安裝最新版的

$ yum makecache fast
$ yum install -y kubelet kubeadm kubectl

 

使用yum安裝程序時，提示xxx.rpm公鑰尚未安裝

使用 yum install xxx.rpm --nogpgcheck 命令格式跳過公鑰檢查，如下：

yum install cri-tools-1.12.0-0.x86_64 --nogpgcheck
yum install kubectl-1.14.1-0.x86_64 --nogpgcheck
yum install kubeadm-1.14.1-0.x86_64 --nogpgcheck

　

$ systemctl enable kubelet

 

 

9.部署Kubernetes Master

 

1）初始化kubeadm

kubeadm init \
--apiserver-advertise-address=192.168.38.11 \
--image-repository registry.aliyuncs.com/google_containers \
--kubernetes-version v1.14.1 \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

當出現如下結果，表示初始化順利

 

 

建議至少2 cpu ,2G，非硬性要求，1cpu，1G也可以搭建起集群。但是：

1個cpu的話初始化master的時候會報 [WARNING NumCPU]: the number of available CPUs 1 is less than the required 2

部署插件或者pod時可能會報warning：FailedScheduling：Insufficient cpu, Insufficient memory

如果出現這種提示，說明你的虛擬機分配的CPU為1核，需要重新設置虛擬機master節點內核數。

 

查看鏡像

$ docker images

 

 

2）使用kubectl工具

復制如下命令直接執行

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config　　

 

下面就可以直接使用kubectl命令了

 

 

 

10.安裝Pod網絡插件（CNI）

 

1）安裝插件

$ kubectl apply -f https://raw.githubusercontent.com/coreos/flannel/a70459be0084506e4ec919aa1c114638878db11b/Documentation/kube-flannel.yml

 

2）查看是否部署成功

$ kubectl get pods -n kube-system 

 

3）再次查看node，可以看到狀態為ready

 

 

安裝失敗了，怎么清理環境重新安裝啊？執行一條命令：

$ kubeadm reset

 

 

 

11.Node節點加入集群

向集群添加新節點，執行在kubeadm init輸出的kubeadm join命令：

復制上面命令，在node節點上執行

 

kubeadm join 192.168.38.11:6443 --token m5y7r8.wevj0rrffanpoig9 \
    --discovery-token-ca-cert-hash sha256:c08dcc8a8804bad11d47bcba2d1d3a7213c10ebc422694c97d62437f48ed548e 

 

如果一直卡在 “Running pre-flight checks” 上，則很可能是時間未同步，token失效導致

 

第一步，檢查master、node時間是否同步？

$ date

執行如下命令同步時間

$ ntpdate time.nist.gov

 

第二步：如果還有其它錯誤如 Port 10250 is in use，執行如下命令

$  kubeadm reset

然后再重新執行kubeadm join ... 操作

 

如果出現如下錯誤提示：

1）更改docker的啟動參數

$ vim /usr/lib/systemd/system/docker.service

#ExecStart=/usr/bin/dockerd

ExecStart=/usr/bin/dockerd --exec-opt native.cgroupdriver=systemd

 

2）重啟docker

systemctl daemon-reload

systemctl restart docker

 

執行成功后：

 

再通過master節點查看node，發現node節點已以成功加入集群，並且Status狀態為Ready

 

如果token忘記了，則可以通過如下操作：

1）查看token，如果token失效，則重新生成一個

$ kubeadm token list
$ kubeadm token create

　　

2）獲取ca證書sha256編碼hash值

$ openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | openssl dgst -sha256 -hex | sed 's/^.* //'

 

3）節點加入集群

$ kubeadm reset
$ kubeadm join 192.168.38.11:6443 --token unnscz.aq2r62cuc14w27oa \ --discovery-token-ca-cert-hash sha256:8b79b6461e58c07333cb2851fe74fd4374af8bbbe0bf7e040b415b86ad4fb89d

 

 

12.測試kubernetes集群

 

$ kubectl create deployment nginx --image=nginx
$ kubectl expose deployment nginx --port=80 --type=NodePort
$ kubectl get pod,svc

 

$ kubectl get pod,svc -o wide

 

通過瀏覽器訪問：http://192.168.38.11:30328 可以正常訪問