通过搭建单控制平面的 k8s 集群来处理各类非线上业务,特别是作为云原生应用开发、测试、实验学习等场景,虽然不是 HA 部署但也完全够用。本文着重记录单控制平面K8S集群安装,为应用上云、转型云原生应用进行基础储备。
如果资源足够的话(10台以上服务器,3台用于APIserver、3台用于 etcd 存储、至少3台用于工作节点、1台作为负载均衡),可以部署多控制平面的高可用集群环境。下面是高可用集群拓补结构,供参考:
安装步骤不同,但整体思路大同小异,安装时可参考 官网文档,文档清晰明了,也比较好操作。
一、准备工作
硬件资源要求,建议4核心以上CPU,8GB以上内存,Ubuntu 16.04 以上或 CentOS 7以上版本操作系统,确保所有服务器间正常网络通信,1 台服务器作为控制平面节点,其余若干台服务器作为工作节点,我这里准备了4个工作节点。大致信息如下:
名称 | CPU | 内存 | IP | OS | 安装 | 用途 |
---|---|---|---|---|---|---|
CPN-1 | 4U | 8GB | 10.163.10.6 | ubuntu18.04 | docker , kubeadm, kubelet , kubectl | Control Plane Node |
WN-1 | 4U | 8GB | 10.163.10.7 | ubuntu18.04 | docker , kubeadm, kubelet | Worker Node |
WN-2 | 4U | 8GB | 10.163.10.8 | ubuntu18.04 | docker , kubeadm, kubelet | Worker Node |
WN-2 | 4U | 8GB | 10.163.10.9 | ubuntu18.04 | docker , kubeadm, kubelet | Worker Node |
WN-2 | 4U | 8GB | 10.163.10.10 | ubuntu18.04 | docker , kubeadm, kubelet | Worker Node |
安装 docker
K8S 支持多种容器运行时环境,这里选择 docker 作为运行时环境,首先为所有节点服务器安装 docker,目前 kubernetes 最新版(v1.15.2) 可以完全兼容支持的 docker 最高版本为 v18.06,所以这里安装 v18.06 这个版本。
参考 官网文档。
# 删除旧版本docker
$ sudo apt-get remove docker docker-engine docker.io containerd runc
# 更新 apt
$ sudo apt-get update
# 安装工具包
$ sudo apt-get install \
apt-transport-https \
ca-certificates \
curl \
gnupg-agent \
software-properties-common
# 添加Docker官方 GPG key
$ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -
# 添加 stable apt 源
$ sudo add-apt-repository \
"deb [arch=amd64] https://download.docker.com/linux/ubuntu \
$(lsb_release -cs) \
stable"
# 安装 Docker CE
$ sudo apt-get update
$ sudo apt-get install docker-ce docker-ce-cli containerd.io
如果因网络环境原因从官网仓库安装速度较慢,可以使用阿里云镜像仓库安装,具体步骤如下:
# step 1: 安装必要的一些系统工具
sudo apt-get update
sudo apt-get -y install apt-transport-https ca-certificates curl software-properties-common
# step 2: 安装GPG证书
curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -
# Step 3: 写入软件源信息
sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"
# Step 4: 更新并安装 Docker-CE
sudo apt-get -y update
# 选择安装版本,这里选择 19.03.5
apt-cache madison docker-ce
# sudo apt-get -y install docker-ce=[version]
sudo apt-get install docker-ce=5:19.03.5~3-0~ubuntu-bionic docker-ce-cli=5:19.03.5~3-0~ubuntu-bionic containerd.io=1.2.10-3
后续操作
1、当前用户加入"docker"用户组
$ sudo usermod -aG docker $USER
2、 配置 cgroup 驱动为 systemd
# 创建文件 /etc/docker/daemon.json ,内容如下:
{
"exec-opts": ["native.cgroupdriver=systemd"],
"registry-mirrors": ["https://docker.mirrors.ustc.edu.cn/"]
}
3、重启服务生效配置
sudo systemctl daemon-reload
sudo systemctl restart docker.service
4、检查配置是否生效
docker info | grep Cgroup
# ECHO ------
Cgroup Driver: systemd
关闭 swap
swapoff -a && sudo sed -i 's/^.*swap/#&/g' /etc/fstab
安装 kubelet kubeadm kubectl
由于网络原因,直接 APT-GET 安装可能安装不了,这里需要配置一下镜像仓库。
1、配置阿里云 kubernetes 镜像仓库
$ sudo apt-get update && sudo apt-get install -y apt-transport-https
curl https://mirrors.aliyun.com/kubernetes/apt/doc/apt-key.gpg | sudo apt-key add -
2、创建文件 /etc/apt/sources.list.d/kubernetes.list
, 内容如下:
deb https://mirrors.aliyun.com/kubernetes/apt/ kubernetes-xenial main
3、安装 kubelet kubectl kubeadm
$ sudo apt-get update
$ sudo apt-get install -y kubelet kubeadm kubectl
4、设置kubelet开机启动
$ sudo systemctl enable kubelet
二、部署控制平面节点
过程中会用到一些列 docker 镜像文件,这些文件在 Google 的镜像仓库,可以通过 kubeadm config images pull
命令验证网络是否能够正常拉取镜像。国内环境,十有八九无法直接连接,可从其他镜像仓库下载,然后再修改镜像标签,以便启动相关 pod。
准备镜像
列出安装过程中需要用到的镜像文件,命令为
kubeadm config images list
# ECHO ------
k8s.gcr.io/kube-apiserver:v1.17.0
k8s.gcr.io/kube-controller-manager:v1.17.0
k8s.gcr.io/kube-scheduler:v1.17.0
k8s.gcr.io/kube-proxy:v1.17.0
k8s.gcr.io/pause:3.1
k8s.gcr.io/etcd:3.4.3-0
k8s.gcr.io/coredns:1.6.5
这里选择从 docker hub 中的 mirrorgooglecontainers 拉取镜像副本,然后更新tag,再删除镜像副本,脚本如下:
images=(kube-apiserver:v1.17.0 kube-controller-manager:v1.17.0 kube-scheduler:v1.17.0 kube-proxy:v1.17.0 pause:3.1 etcd:3.4.3-0 coredns:1.6.5)
for imageName in ${images[@]} ; do
docker pull gotok8s/$imageName
docker tag gotok8s/$imageName k8s.gcr.io/$imageName
docker rmi gotok8s/$imageName
done
初始化控制平面节点
控制平面节点是控制平面组件运行的机器,包括etcd(集群数据库)和 API server (kubectl CLI与之通信)。
需要安装pod网络插件,才能使得集群 pod 间可以相互通信,必须在任何应用程序之前部署 pod 网络。此外,CoreDNS将不会在安装网络之前启动。kubeadm仅支持基于容器网络接口(CNI)的网络,有几个项目使用CNI提供了Kubernetes pod网络,其中一些还支持网络策略。有关可用网络加载项的完整列表,请参阅网络组件页面。
另外,请注意,Pod网络不得与任何主机网络重叠,因为这可能会导致问题。如果发现网络插件的首选Pod网络与某些主机网络之间发生冲突,应为 kubeadm init 指定 --pod-network-cidr 参数配置网络网络,并在网络插件的YAML中修改相应信息。
这里我选择 calico
网络,根据 calico 文档说明,我们需为 kubeadm init
指定 --pod-network-cidr=192.168.0.0/16
参数。现在运行 kubeadm init <args>
sudo kubeadm init \
--kubernetes-version=v1.17.0 \
--apiserver-advertise-address=10.163.10.6 \
--pod-network-cidr=192.168.0.0/16
如果一切正常,安装成功,将输入类似下面的结果信息:
Your Kubernetes control-plane has initialized successfully!
To start using your cluster, you need to run the following as a regular user:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
https://kubernetes.io/docs/concepts/cluster-administration/addons/
Then you can join any number of worker nodes by running the following on each as root:
kubeadm join 10.163.10.6:6443 --token xxxxxx.xxxxxxxxxxxxxxxx \
--discovery-token-ca-cert-hash sha256:xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx
根据提示消息,依次执行以下命令:
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
注意记录输出结果中的 kubeadm join ***
信息,随后在添加工作节点到集群时需要用到,可以复制后暂存在某个地方。
安装网络
此时,我们通过 kubectl get pods --all-namespaces
命令,应该可以看到 CoreDNS pod 处于 pending 状态,安装网网络以后,它才能处于 running 状态。我们选择 calico 为 pod 提供网络,pod 网络组件本身以 k8s 应用的形式运行,执行下面命令进行安装。
kubectl apply -f https://docs.projectcalico.org/v3.11/manifests/calico.yaml
安装了pod网络后,可以通过检查 CoreDNS pod 是否在输出中运行来确认它是否正常工作 kubectl get pods --all-namespaces
。
kubectl get pods --all-namespaces
# ECHO ----
NAMESPACE NAME READY STATUS RESTARTS AGE
kube-system calico-kube-controllers-7bd78b474d-vmq2w 1/1 Running 0 4m57s
kube-system calico-node-2cwtx 1/1 Running 0 4m57s
kube-system coredns-5c98db65d4-gv2j6 1/1 Running 0 10m
kube-system coredns-5c98db65d4-n6lpj 1/1 Running 0 10m
kube-system etcd-vm-10-13-ubuntu 1/1 Running 0 8m54s
kube-system kube-apiserver-vm-10-13-ubuntu 1/1 Running 0 9m10s
kube-system kube-controller-manager-vm-10-13-ubuntu 1/1 Running 0 9m3s
kube-system kube-proxy-qbk66 1/1 Running 0 10m
kube-system kube-scheduler-vm-10-13-ubuntu 1/1 Running 0 9m8s
pod 启动需要时间,请耐心等待。
三、加入工作节点
CoreDNS pod 启动并运行后,我们可以为集群添加工作节点。工作节点服务器需安装 docker 、kubeadm 和 kubelet,安装过程请参考 master 节点部署流程。
拉取镜像
工作节点服务器需要至少启动两个 pod ,用到的镜像为 kube-proxy
和 pause
,同理我们无法直接从 k8s.grc.io 下载,需要提前拉取镜像并修改 tag ,执行下面命令:
images=(kube-proxy:v1.17.0 pause:3.1)
for imageName in ${images[@]} ; do
docker pull gotok8s/$imageName
docker tag gotok8s/$imageName k8s.gcr.io/$imageName
docker rmi gotok8s/$imageName
done
加入集群
执行控制平面节点初始化完成后提供的添加工作节点命令,格式如下:
kubeadm join --token <token> <master-ip>:<master-port> --discovery-token-ca-cert-hash sha256:<hash>
命令中的 --token
和 --discovery-token-ca-cert-hash
在集群master节点部署完成后的结果信息中有体现,直接复制出来即可使用。
可以通过在控制平面节点执行 kubeadm token list
来获取 token 信息,token 令牌会在 24 小时候失效,如果要创建新的令牌,使用 kubeadm token create
命令。
可以通过下面命令获取 --discovery-token-ca-cert-hash
openssl x509 -pubkey -in /etc/kubernetes/pki/ca.crt | openssl rsa -pubin -outform der 2>/dev/null | \
openssl dgst -sha256 -hex | sed 's/^.* //'
注意,如果需要重新执行 kubeadm join
,需在控制平面节点删除该节点 kubectl delete node node-name
,并在工作节点上执行 kubeadm reset
进行清理工作。
节点执行完 join 命令后,可以在控制平面节点检查 pod 启动进度 watch kubectl get pods --all-namespaces -o wide
,观察新节点服务器上的 pod 状态,正常启动则加入成功且节点状态为 Ready
。参照上述步骤,依次将所有工作节点加入集群。
检查工作节点状态
工作节点加入集群后,随着工作节点上相应 pod 的正常启动,工作节点状态会由 NotReady
切换到 Ready
,Pod 启动需要时间,请耐心等待。所有节点正常加入集群后,可以通过命令查看节点状态:
kubectl get nodes
# ECHO ------
NAME STATUS ROLES AGE VERSION INTERNAL-IP EXTERNAL-IP OS-IMAGE KERNEL-VERSION CONTAINER-RUNTIME
vm-10-6-ubuntu Ready master 9h v1.15.2 10.163.10.13 <none> Ubuntu 18.04.1 LTS 4.15.0-54-generic docker://18.6.3
vm-10-7-ubuntu Ready <none> 9h v1.15.2 10.163.10.12 <none> Ubuntu 18.04.1 LTS 4.15.0-54-generic docker://18.6.3
vm-10-8-ubuntu Ready <none> 9h v1.15.2 10.163.10.9 <none> Ubuntu 18.04.1 LTS 4.15.0-54-generic docker://18.6.3
vm-10-9-ubuntu Ready <none> 8h v1.15.2 10.163.10.7 <none> Ubuntu 18.04.1 LTS 4.15.0-54-generic docker://18.6.3
vm-10-10-ubuntu Ready <none> 120m v1.15.2 10.163.10.2 <none> Ubuntu 18.04.1 LTS 4.15.0-54-generic docker://18.6.3
四、安装 dashboard
dashboard 不会随集群一起安装,需要单独部署,执行下面命令安装:
kubectl apply -f https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-beta3/aio/deploy/recommended.yaml
这里要注意 dashboard 的版本,并非所有版本的 dashboard 都能和任意版本的 k8s 集群完全兼容。引用官网对照表
Kubernetes version | 1.11 | 1.12 | 1.13 | 1.14 | 1.15 |
---|---|---|---|---|---|
Compatibility | ? | ? | ? | ? | ✓ |
✓ Fully supported version range.
? Due to breaking changes between Kubernetes API versions, some features might not work correctly in the Dashboard.
默认情况下,Dashboard 使用最小 RBAC 配置进行部署。目前,Dashboard 仅支持使用 Bearer Token 登录。可以按照关于创建示例用户的指南 进行操作。
关于 dashboard 的使用,随后会抽时间再详细写一篇进行介绍。
五、Inress
-
选择一个节点,打上
node.k8s.xx.cn/role: ingress
标签,已实现下一步进行 Pod 调度。 -
安装下载 ingress-nginx 资源信息
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/mandatory.yaml
wget https://raw.githubusercontent.com/kubernetes/ingress-nginx/master/deploy/static/provider/baremetal/service-nodeport.yaml
- 修改配置信息
修改 nginx-ingress 安装文件 mandatory.yaml
,以确保 nginx-ingress-controller 运行在指定节点上。
...
nodeSelector:
kubernetes.io/os: linux
node.k8s.xx.cn/role: ingress
serviceAccountName: nginx-ingress-serviceaccount
...
配置 service 为集群 IP 类型,使用外部 IP 暴露服务。
apiVersion: v1
kind: Service
metadata:
name: ingress-nginx
namespace: ingress-nginx
labels:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
spec:
type: ClusterIP
externalIPs:
- 10.163.10.7
ports:
- name: http
port: 80
targetPort: 80
protocol: TCP
- name: https
port: 443
targetPort: 443
protocol: TCP
selector:
app.kubernetes.io/name: ingress-nginx
app.kubernetes.io/part-of: ingress-nginx
---
- 安装 ingress-nginx
kubectl apply -f mandatory.yaml
kubectl apply -f service-nodeport.yaml
六、结语
现在我们已经拥有一个 4 工作节点的单控制平面 k8s 集群,本文仅简单介绍了部署过程,关于集群的管理、使用还会涉及到非常多 k8s 概念及领域知识,官网文档基本上很详细的介绍了各类概念,还有详尽的操作演示,可以多看、多实践。
最后,祝大家身体健康、工作顺利、万事如意。