使用kubeadm安裝kubernetes 1.21

文章原文

配置要求

• 至少2台 2核4G 的服務器

• 本文檔中，CPU必須為 x86架構

• CentOS 7.8 或 CentOS Stream 8

  安裝后的軟件版本為

• Kubernetes v1.21.x

  • calico 3.17.1
  • nginx-ingress 1.9.1

• Containerd.io 1.4.3

  操作系統兼容性

  CentOS版本 |本文檔是否兼容 |備注
  —-|—-|—-
  CentOS Stream 8 |😄| 已驗證
  CentOS 7.8 |😄| 已驗證
  CentOS 7.7| 😞 |未驗證
  CentOS 7.6 |😞| 未驗證

{{< notice success “Container Runtime” >}}

• Kubernetes v1.21 開始，默認移除 docker 的依賴，如果宿主機上安裝了 docker 和 containerd，將優先使用 docker 作為容器運行引擎，如果宿主機上未安裝 docker 只安裝了 containerd，將使用 containerd 作為容器運行引擎；
• 本文使用 containerd 作為容器運行引擎；
  {{< /notice >}}

{{< notice success “關於二進制安” >}}

• kubeadm 是 Kubernetes 官方支持的安裝方式，“二進制” 不是。本文檔采用 kubernetes.io 官方推薦的 kubeadm 工具安裝 kubernetes 集群。
  {{< /notice >}}

  檢查 centos / hostname

  ``` shell

  在 master 節點和 worker 節點都要執行

  cat /etc/redhat-release

此處 hostname 的輸出將會是該機器在 Kubernetes 集群中的節點名字

不能使用 localhost 作為節點的名字

hostname

請使用 lscpu 命令，核對 CPU 信息

Architecture: x86_64 本安裝文檔不支持 arm 架構

CPU(s): 2 CPU 內核數量不能低於 2

lscpu

### 修改 hostname
``` shell
# 修改 hostname
hostnamectl set-hostname your-new-host-name
# 查看修改結果
hostnamectl status
# 設置 hostname 解析
echo "127.0.0.1   $(hostname)" >> /etc/hosts

檢查網絡

在所有節點執行命令

[root@demo-master-a-1 ~]$ ip route show
default via 172.21.0.1 dev eth0 
169.254.0.0/16 dev eth0 scope link metric 1002 
172.21.0.0/20 dev eth0 proto kernel scope link src 172.21.0.12 

[root@demo-master-a-1 ~]$ ip address
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc pfifo_fast state UP group default qlen 1000
    link/ether 00:16:3e:12:a4:1b brd ff:ff:ff:ff:ff:ff
    inet 172.17.216.80/20 brd 172.17.223.255 scope global dynamic eth0
       valid_lft 305741654sec preferred_lft 305741654sec

{{< notice info “kubelet使用的IP地址” >}}

• ip route show 命令中，可以知道機器的默認網卡，通常是 eth0，如 default via 172.21.0.23 dev eth0

• ip address 命令中，可顯示默認網卡的 IP 地址，Kubernetes 將使用此 IP 地址與集群內的其他節點通信，如 172.17.216.80

• 所有節點上 Kubernetes 所使用的 IP 地址必須可以互通（無需 NAT 映射、無安全組或防火牆隔離）
  {{< /notice >}}

  安裝

  {{< notice warning “” >}}
  使用 root 身份在所有節點執行如下代碼，以安裝軟件：

• containerd

• nfs-utils

• kubectl / kubeadm / kubelet
  {{< /notice >}}
  {{< tabs 快速安裝 手動安裝 >}}
  {{< tab >}}
  請將腳本最后的 1.21.0 替換成您需要的版本號（必須是 1.21 的小版本，不能是 1.19.1 等） 腳本中間的 v1.21.x 不要替換

docker hub 鏡像請根據自己網絡的情況任選一個

• 第四行為騰訊雲 docker hub 鏡像
• 第六行為DaoCloud docker hub 鏡像
• 第八行為華為雲 docker hub 鏡像
• 第十行為阿里雲 docker hub 鏡像```

  在 master 節點和 worker 節點都要執行

  最后一個參數 1.21.0 用於指定 kubenetes 版本，支持所有 1.21.x 版本的安裝

  騰訊雲 docker hub 鏡像

  export REGISTRY_MIRROR="https://mirror.ccs.tencentyun.com"

  DaoCloud 鏡像

  export REGISTRY_MIRROR="http://f1361db2.m.daocloud.io"

  華為雲鏡像

  export REGISTRY_MIRROR="https://05f073ad3c0010ea0f4bc00b7105ec20.mirror.swr.myhuaweicloud.com"

  阿里雲 docker hub 鏡像

  export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
  curl -sSL https://kuboard.cn/install-script/v1.21.x/install_kubelet.sh | sh -s 1.21.0

  {{< tab >}}  
  _手動執行以下代碼，結果與快速安裝相同。_ **請將腳本第79行（已高亮）的 ${1} 替換成您需要的版本號，例如 1.21.0**
  
  

docker hub 鏡像請根據自己網絡的情況任選一個

• 第四行為騰訊雲 docker hub 鏡像

• 第六行為DaoCloud docker hub 鏡像

• 第八行為阿里雲 docker hub 鏡像```

  在 master 節點和 worker 節點都要執行

  最后一個參數 1.21.0 用於指定 kubenetes 版本，支持所有 1.21.x 版本的安裝

  騰訊雲 docker hub 鏡像

  export REGISTRY_MIRROR="https://mirror.ccs.tencentyun.com"

  DaoCloud 鏡像

  export REGISTRY_MIRROR="http://f1361db2.m.daocloud.io"

  阿里雲 docker hub 鏡像

  export REGISTRY_MIRROR=https://registry.cn-hangzhou.aliyuncs.com
  `````` shell

  !/bin/bash

在 master 節點和 worker 節點都要執行

安裝 containerd

參考文檔如下

https://kubernetes.io/docs/setup/production-environment/container-runtimes/#containerd

cat <<EOF | sudo tee /etc/modules-load.d/containerd.conf
overlay
br_netfilter
EOF

sudo modprobe overlay
sudo modprobe br_netfilter

Setup required sysctl params, these persist across reboots.

cat <<EOF | sudo tee /etc/sysctl.d/99-kubernetes-cri.conf
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward = 1
net.bridge.bridge-nf-call-ip6tables = 1
EOF

Apply sysctl params without reboot

sysctl —system

卸載舊版本

yum remove -y containerd.io

設置 yum repository

yum install -y yum-utils device-mapper-persistent-data lvm2
yum-config-manager —add-repo https://download.docker.com/linux/centos/docker-ce.repo

安裝 containerd

yum install -y containerd.io-1.4.3

mkdir -p /etc/containerd
containerd config default > /etc/containerd/config.toml

sed -i “s#k8s.gcr.io#registry.aliyuncs.com/k8sxio#g” /etc/containerd/config.toml
sed -i ‘/containerd.runtimes.runc.options/a\ \ \ \ \ \ \ \ \ \ \ \ SystemdCgroup = true’ /etc/containerd/config.toml
sed -i “s#[https://registry-1.docker.io#\({REGISTRY\_MIRROR}#g](https://registry-1.docker.io/#\){REGISTRY_MIRROR}#g)“ /etc/containerd/config.toml

systemctl daemon-reload
systemctl enable containerd
systemctl restart containerd

安裝 nfs-utils

必須先安裝 nfs-utils 才能掛載 nfs 網絡存儲

yum install -y nfs-utils
yum install -y wget

關閉 防火牆

systemctl stop firewalld
systemctl disable firewalld

關閉 SeLinux

setenforce 0
sed -i “s/SELINUX=enforcing/SELINUX=disabled/g” /etc/selinux/config

關閉 swap

swapoff -a
yes | cp /etc/fstab /etc/fstab_bak
cat /etc/fstab_bak |grep -v swap > /etc/fstab

配置K8S的yum源

cat < /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

卸載舊版本

yum remove -y kubelet kubeadm kubectl

安裝kubelet、kubeadm、kubectl

將 ${1} 替換為 kubernetes 版本號，例如 1.20.1

yum install -y kubelet-\({1} kubeadm-\){1} kubectl-${1}

crictl config runtime-endpoint /run/containerd/containerd.sock

重啟 docker，並啟動 kubelet

systemctl daemon-reload
systemctl enable kubelet && systemctl start kubelet

containerd —version
kubelet —version

{{< notice warning "注意" >}}  
如果此時執行 systemctl status kubelet 命令，將得到 kubelet 啟動失敗的錯誤提示，請忽略此錯誤，因為必須完成后續步驟中 kubeadm init 的操作，kubelet 才能正常啟動
{{< /notice >}}
{{< /tab >}}
{{< /tabs >}}

## 初始化 master 節點
{{< notice warning "關於初始化時用到的環境變量" >}}  
- APISERVER_NAME 不能是 master 的 hostname
- APISERVER_NAME 必須全為小寫字母、數字、小數點，不能包含減號
- POD_SUBNET 所使用的網段不能與 master節點/worker節點 所在的網段重疊。該字段的取值為一個 CIDR 值，如果您對 CIDR 這個概念還不熟悉，請仍然執行 export POD_SUBNET=10.100.0.1/16 命令，不做修改
{{< /notice >}}

{{< tabs 快速初始化 手動初始化  >}}
{{< tab >}}
_請將腳本最后的 1.21.0 替換成您需要的版本號（必須是 1.21 的小版本，不能是 1.19.1 等）_ **腳本中間的 v1.21.x 不要替換**
```shell
# 只在 master 節點執行
# 替換 x.x.x.x 為 master 節點實際 IP（請使用內網 IP）
# export 命令只在當前 shell 會話中有效，開啟新的 shell 窗口后，如果要繼續安裝過程，請重新執行此處的 export 命令
export MASTER_IP=x.x.x.x
# 替換 apiserver.demo 為 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器組所在的網段，該網段安裝完成后，由 kubernetes 創建，事先並不存在於您的物理網絡中
export POD_SUBNET=10.100.0.1/16
echo "${MASTER_IP}    ${APISERVER_NAME}" >> /etc/hosts
curl -sSL https://kuboard.cn/install-script/v1.21.x/init_master.sh | sh -s 1.21.0

{{< /tab >}}
{{< tab >}}
手動執行以下代碼，結果與快速安裝相同。 請將腳本第79行（已高亮）的 ${1} 替換成您需要的版本號，例如 1.21.0

# 只在 master 節點執行
# 替換 x.x.x.x 為 master 節點的內網IP
# export 命令只在當前 shell 會話中有效，開啟新的 shell 窗口后，如果要繼續安裝過程，請重新執行此處的 export 命令
export MASTER_IP=x.x.x.x
# 替換 apiserver.demo 為 您想要的 dnsName
export APISERVER_NAME=apiserver.demo
# Kubernetes 容器組所在的網段，該網段安裝完成后，由 kubernetes 創建，事先並不存在於您的物理網絡中
export POD_SUBNET=10.100.0.1/16
echo "${MASTER_IP}    ${APISERVER_NAME}" >> /etc/hosts

!/bin/bash

只在 master 節點執行

腳本出錯時終止執行

set -e

if [ ${#POD_SUBNET} -eq 0 ] || [ \({#APISERVER_NAME} -eq 0 ]; then echo -e "\033[31;1m請確保您已經設置了環境變量 POD_SUBNET 和 APISERVER_NAME \033[0m" echo 當前POD_SUBNET=\)POD_SUBNET
echo 當前APISERVER_NAME=$APISERVER_NAME
exit 1
fi

查看完整配置選項 https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2

rm -f ./kubeadm-config.yaml
cat < ./kubeadm-config.yaml

apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v\({1} imageRepository: registry.aliyuncs.com/k8sxio controlPlaneEndpoint: "\){APISERVER_NAME}:6443"
networking:
serviceSubnet: "10.96.0.0/16"
podSubnet: "\({POD_SUBNET}" dnsDomain: "cluster.local" dns: type: CoreDNS imageRepository: swr.cn-east-2.myhuaweicloud.com\){2}
imageTag: 1.8.0

---

apiVersion: kubelet.config.k8s.io/v1beta1
kind: KubeletConfiguration
cgroupDriver: systemd
EOF

kubeadm init

根據您服務器網速的情況，您需要等候 3 - 10 分鍾

echo ""
echo "抓取鏡像，請稍候..."
kubeadm config images pull --config=kubeadm-config.yaml
echo ""
echo "初始化 Master 節點"
kubeadm init --config=kubeadm-config.yaml --upload-certs

配置 kubectl

rm -rf /root/.kube/
mkdir /root/.kube/
cp -i /etc/kubernetes/admin.conf /root/.kube/config

安裝 calico 網絡插件

參考文檔 https://docs.projectcalico.org/v3.13/getting-started/kubernetes/self-managed-onprem/onpremises

echo ""
echo "安裝calico-3.17.1"
rm -f calico-3.17.1.yaml
kubectl create -f https://kuboard.cn/install-script/v1.21.x/calico-operator.yaml
wget https://kuboard.cn/install-script/v1.21.x/calico-custom-resources.yaml
sed -i "s#192.168.0.0/16#${POD_SUBNET}#" calico-custom-resources.yaml
kubectl create -f calico-custom-resources.yaml

{{< /tab >}}  
{{< /tabs >}}

### 檢查 master 初始化結果

只在 master 節點執行

執行如下命令，等待 3-10 分鍾，直到所有的容器組處於 Running 狀態

watch kubectl get pod -n kube-system -o wide

查看 master 節點初始化結果

kubectl get nodes -o wide

初始化 worker節點
------------

### 獲得 join命令參數

在 master 節點上執行

只在 master 節點執行

kubeadm token create --print-join-command

返回如下

kubeadm join apiserver.demo:6443 --token 9ukzcs.qp4ozxbn1knc13sx --discovery-token-ca-cert-hash sha256:0cb945ea0c6329b4df58cf358e2be697fd31a85f55c23d47356f06f69a27283d

{{< notice success “有效時間” >}}  
該 token 的有效時間為 2 個小時，2小時內，您可以使用此 token 初始化任意數量的 worker 節點。  
{{< /notice >}}

### 初始化worker

**針對所有的 worker 節點執行**

只在 worker 節點執行

替換 x.x.x.x 為 master 節點的內網 IP

export MASTER_IP=x.x.x.x

替換 apiserver.demo 為初始化 master 節點時所使用的 APISERVER_NAME

export APISERVER_NAME=apiserver.demo
echo "${MASTER_IP} ${APISERVER_NAME}" >> /etc/hosts

替換為 master 節點上 kubeadm token create 命令的輸出

kubeadm join apiserver.demo:6443 --token 9ukzcs.qp4ozxbn1knc13sx --discovery-token-ca-cert-hash sha256:0cb945ea0c6329b4df58cf358e2be697fd31a85f55c23d47356f06f69a27283d

### 檢查初始化結果

在 master 節點上執行

只在 master 節點執行

kubectl get nodes -o wide

輸出結果如下所示

[root@master ~]# kubectl get nodes
NAME STATUS ROLES AGE VERSION
master Ready control-plane,master 54m v1.21.0
node1 Ready 35m v1.21.0

安裝 Ingress Controller
---------------------

{{< tabs 快速安裝 卸載IngressController >}}  
{{< tab >}}  
**在 master 節點上執行**  
部分情況下，下面的這條指令，您需要執行兩次才能成功。

只在 master 節點執行

kubectl apply -f https://kuboard.cn/install-script/v1.21.x/nginx-ingress.yaml

{{< /tab >}}  
{{< tab >}}  
**在 master 節點上執行**

只在您想選擇其他 Ingress Controller 的情況下卸載

只在 master 節點執行

kubectl delete -f https://kuboard.cn/install-script/v1.21.x/nginx-ingress.yaml

{{< /tab >}}  
{{< /tabs >}}

### 配置域名解析

將域名 [cnsre.cn](https://cnsre.cn/posts/210602036084) 解析到 demo-worker-a-2 的 IP 地址 z.z.z.z （也可以是 demo-worker-a-1 的地址 y.y.y.y）

### 驗證配置

在瀏覽器訪問 [cnsre.cn](https://cnsre.cn/posts/210602036084)，將得到 404 NotFound 錯誤頁面  
[文章原文](https://cnsre.cn/posts/210602036084)