CentOS7安裝Kubernetes1.18.1並使用flannel

一、概述

手工搭建 Kubernetes 集群是一件很繁瑣的事情，為了簡化這些操作，就產生了很多安裝配置工具，如 Kubeadm ，Kubespray，RKE 等組件，我最終選擇了官方的 Kubeadm 主要是不同的 Kubernetes 版本都有一些差異，Kubeadm 更新與支持的會好一些。Kubeadm 是 Kubernetes 官方提供的快速安裝和初始化 Kubernetes 集群的工具，目前的還處於孵化開發狀態，跟隨 Kubernetes 每個新版本的發布都會同步更新, 強烈建議先看下官方的文檔了解下各個組件與對象的作用。

https://kubernetes.io/docs/concepts/
https://kubernetes.io/docs/setup/independent/install-kubeadm/
https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

 

在創建Kubernetes集群時，阿里雲容器服務提供兩種網絡插件：Terway和Flannel。

Flannel：使用的是簡單穩定的社區的Flannel CNI 插件，配合阿里雲的VPC的高速網絡，能給集群高性能和穩定的容器網絡體驗，但功能偏簡單，支持的特性少，例如：不支持基於Kubernetes標准的Network Policy。
Terway：是阿里雲容器服務自研的網絡插件，將阿里雲的彈性網卡分配給容器，支持基於Kubernetes標准的NetworkPolicy來定義容器間的訪問策略，支持對單個容器做帶寬的限流。對於不需要使用Network Policy的用戶，可以選擇Flannel，其他情況建議選擇Terway。

 

因此，本文主要介紹flannel的簡單使用。

 

系統環境

系統	內核	docker	ip	主機名	配置
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.130	k8s-master	2核4G
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.131	k8s-node01	2核4G
centos 7.6	3.10.0-957.el7.x86_64	19.03.5	192.168.128.132	k8s-node02	2核4G

 

 

 

 

 

注意：請確保CPU至少2核，內存2G

二、准備工作

注意：k8s-master，k8s-node01，k8s-node01都必須執行。

關閉防火牆

如果各個主機啟用了防火牆，需要開放Kubernetes各個組件所需要的端口，可以查看Installing kubeadm中的”Check required ports”一節。 這里簡單起見在各節點禁用防火牆：

systemctl stop firewalld
systemctl disable firewalld

 

禁用SELINUX

# 臨時禁用
setenforce 0
# 永久禁用 
vim /etc/selinux/config    # 或者修改/etc/sysconfig/selinux
SELINUX=disabled

 

修改k8s.conf文件

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
sysctl --system

 

開啟路由轉發

echo 1 > /proc/sys/net/ipv4/ip_forward

 

關閉swap

# 臨時關閉
swapoff -a

 

修改 /etc/fstab 文件，注釋掉 SWAP 的自動掛載（永久關閉swap，重啟后生效）

# 注釋掉以下字段
/dev/mapper/cl-swap     swap                    swap    defaults        0 0

 

安裝docker

注意：k8s-master，k8s-node01，k8s-node01都必須執行。

這里就不再敘述了，請參考鏈接：

https://www.cnblogs.com/xiao987334176/p/11771657.html

 

修改主機名

登錄k8s-master執行

hostnamectl set-hostname k8s-master

注意：主機名不能帶下划線，只能帶中划線
否則安裝k8s會報錯

could not convert cfg to an internal cfg: nodeRegistration.name: Invalid value: "k8s_master": a DNS-1123 subdomain must consist of lower case alphanumeric characters, '-' or '.', and must start and end with an alphanumeric character (e.g. 'example.com', regex used for validation is '[a-z0-9]([-a-z0-9]*[a-z0-9])?(\.[a-z0-9]([-a-z0-9]*[a-z0-9])?)*')

 

登錄 k8s-node01，k8s-node01修改對應主機名，命令格式同上。

 

三、安裝kubeadm，kubelet，kubectl

注意：k8s-master，k8s-node01，k8s-node01都必須執行。

在各節點安裝kubeadm，kubelet，kubectl

修改yum安裝源

cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF

安裝軟件

目前最新版本是：1.18.1

yum install -y kubelet-1.18.1-0 kubeadm-1.18.1-0 kubectl-1.18.1-0
systemctl enable kubelet && systemctl start kubelet

以上，就是master和node都需要操作的部分。

 

四、初始化Master節點

登錄k8s-master執行

運行初始化命令

kubeadm init --kubernetes-version=1.18.1 \
--apiserver-advertise-address=192.168.128.130 \
--image-repository registry.aliyuncs.com/google_containers \
--service-cidr=10.1.0.0/16 \
--pod-network-cidr=10.244.0.0/16

注意修改apiserver-advertise-address為master節點ip

 

參數解釋：

–kubernetes-version: 用於指定k8s版本；
–apiserver-advertise-address：用於指定kube-apiserver監聽的ip地址,就是 master本機IP地址。
–pod-network-cidr：用於指定Pod的網絡范圍； 10.244.0.0/16
–service-cidr：用於指定SVC的網絡范圍；
–image-repository: 指定阿里雲鏡像倉庫地址

 

這一步很關鍵，由於kubeadm 默認從官網k8s.grc.io下載所需鏡像，國內無法訪問，因此需要通過–image-repository指定阿里雲鏡像倉庫地址

集群初始化成功后返回如下信息：
記錄生成的最后部分內容，此內容需要在其它節點加入Kubernetes集群時執行。
輸出如下：

...
Your Kubernetes control-plane has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
    --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143 

注意保持好kubeadm join，后面會用到的。

 

配置kubectl工具

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config

 

安裝flannel

mkdir k8s
cd k8s
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

如果yml中的"Network": "10.244.0.0/16"和kubeadm init xxx --pod-network-cidr不一樣，就需要修改成一樣的。不然可能會使得Node間Cluster IP不通。

由於我上面的kubeadm init xxx --pod-network-cidr就是10.244.0.0/16。所以此yaml文件就不需要更改了。

 

查看yaml需要的鏡像

# cat kube-flannel.yml |grep image|uniq
        image: quay.io/coreos/flannel:v0.12.0-amd64
        image: quay.io/coreos/flannel:v0.12.0-arm64
        image: quay.io/coreos/flannel:v0.12.0-arm
        image: quay.io/coreos/flannel:v0.12.0-ppc64le
        image: quay.io/coreos/flannel:v0.12.0-s390x

注意：這些鏡像都是需要訪問谷歌才行的。

 

但是阿里雲容器鏡像服務ACR里面是有的，訪問鏈接如下：

https://www.aliyun.com/product/acr

注意：必須使用阿里雲賬號登錄才行。

點擊管理控制台

 

 點擊左側的鏡像搜索

 

 

輸入關鍵字：flannel:v0.12.0-amd64，選擇第二個。

 

 

點擊復制公網地址

 

 由於我這里是上海區域，所以域名是：registry.cn-shanghai。如果你選的是其他區域，域名也會不一樣。

下面就是我們需要的版本號。

 

那么下載鏡像的完整命令為：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64

其他鏡像，也都在這里。

所以，所需要的鏡像下載命令為：

docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le
docker pull registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x

 

為鏡像打tag，保持和yaml文件一樣。

docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-amd64 quay.io/coreos/flannel:v0.12.0-amd64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm64 quay.io/coreos/flannel:v0.12.0-arm64
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-arm quay.io/coreos/flannel:v0.12.0-arm
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-ppc64le quay.io/coreos/flannel:v0.12.0-ppc64le
docker tag registry.cn-shanghai.aliyuncs.com/leozhanggg/flannel:v0.12.0-s390x quay.io/coreos/flannel:v0.12.0-s390x

注意：這些鏡像，也需要在node節點執行。

 

加載flannel

kubectl apply -f kube-flannel.yml

 

查看Pod狀態

等待幾分鍾，確保所有的Pod都處於Running狀態

# kubectl get pod --all-namespaces -o wide
NAMESPACE     NAME                                 READY   STATUS    RESTARTS   AGE    IP                NODE         NOMINATED NODE   READINESS GATES
kube-system   coredns-7ff77c879f-8jpb7             0/1     Running   0          125m   10.244.0.3        k8s-master   <none>           <none>
kube-system   coredns-7ff77c879f-9gcjr             1/1     Running   0          125m   10.244.0.2        k8s-master   <none>           <none>
kube-system   etcd-k8s-master                      1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-apiserver-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-controller-manager-k8s-master   1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-flannel-ds-amd64-gz8jd          1/1     Running   0          27s    192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-proxy-wh548                     1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>
kube-system   kube-scheduler-k8s-master            1/1     Running   0          125m   192.168.128.130   k8s-master   <none>           <none>

注意：coredns容器的網段是10.244.0.0/16

 

設置開機啟動

systemctl enable kubelet

 

命令補全

（僅master）

yum install -y bash-completion

source <(kubectl completion bash)
echo "source <(kubectl completion bash)" >> ~/.bashrc
source  ~/.bashrc

必須退出一次，再次登錄，就可以了 

 

五、node加入集群

准備工作

請查看上文中的准備工作，確保都執行了！！！

修改主機名部分，改為k8s-node01

hostnamectl set-hostname k8s-node01

 

加入節點

登錄到node節點，確保已經安裝了docker和kubeadm，kubelet，kubectl

kubeadm join 192.168.128.130:6443 --token rkt1p6.3m7z7pqfvaehxmxi \
    --discovery-token-ca-cert-hash sha256:dd384c51b5a38cce275dd3e178f6f1601b644f5fc2bc2f8cee9c2b031b119143

 

設置開機啟動

systemctl enable kubelet

 

查看節點

登錄k8s-master執行

使用命令查看

# kubectl get nodes -o wide
NAME         STATUS     ROLES    AGE    VERSION   INTERNAL-IP       EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION          CONTAINER-RUNTIME
k8s-master   Ready      master   128m   v1.18.1   192.168.128.130   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-node01   Ready      <none>   30s    v1.18.1   192.168.128.131   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8
k8s-node02   NotReady   <none>   19s    v1.18.1   192.168.128.132   <none>        CentOS Linux 7 (Core)   3.10.0-957.el7.x86_64   docker://19.3.8

 

登錄到node節點，查看ip

# ifconfig 
...
flannel.1: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1450
        inet 10.244.1.0  netmask 255.255.255.255  broadcast 0.0.0.0
        inet6 fe80::80e7:9eff:fe5d:3d94  prefixlen 64  scopeid 0x20<link>
        ether 82:e7:9e:5d:3d:94  txqueuelen 0  (Ethernet)
        RX packets 0  bytes 0 (0.0 B)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 0  bytes 0 (0.0 B)
        TX errors 0  dropped 8 overruns 0  carrier 0  collisions 0
...

它會創建一個flannel.1網卡，用來做flannel網絡通信的。

 

七、使用yml發布應用

以flaskapp為例子

登錄k8s-master執行

flaskapp-deployment.yaml

apiVersion: apps/v1
kind: Deployment
metadata:
  name: flaskapp-1
spec:
  selector:
    matchLabels:
      run: flaskapp-1
  replicas: 1
  template:
    metadata:
      labels:
        run: flaskapp-1
    spec:
      containers:
      - name: flaskapp-1
        image: jcdemo/flaskapp
        ports:
        - containerPort: 5000

 

flaskapp-service.yaml

apiVersion: v1
kind: Service
metadata:
  name: flaskapp-1
  labels:
    run: flaskapp-1
spec:
  type: NodePort
  ports:
  - port: 5000
    name: flaskapp-port
    targetPort: 5000
    protocol: TCP
    nodePort: 30005
  selector:
    run: flaskapp-1

 

加載yml文件

kubectl apply -f flaskapp-service.yaml 
kubectl apply -f flaskapp-deployment.yaml 

 

查看pod狀態

# kubectl get pods -o wide
NAME                          READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
flaskapp-1-5d96dbf59b-94v6v   1/1     Running   0          33s   10.244.2.2   k8s-node02   <none>           <none>

等待幾分鍾，確保為Running狀態

 

ping pod ip

# ping 10.244.2.2 -c 3
PING 10.244.2.2 (10.244.2.2) 56(84) bytes of data.
64 bytes from 10.244.2.2: icmp_seq=1 ttl=63 time=1.86 ms
64 bytes from 10.244.2.2: icmp_seq=2 ttl=63 time=0.729 ms
64 bytes from 10.244.2.2: icmp_seq=3 ttl=63 time=1.05 ms

--- 10.244.2.2 ping statistics ---
3 packets transmitted, 3 received, 0% packet loss, time 2001ms
rtt min/avg/max/mdev = 0.729/1.215/1.862/0.477 ms

確保能正常ping通，表示flannel網絡正常。

 

訪問頁面

使用master ip+nodeport訪問

http://192.168.128.130:30005/

 

效果如下：

 

 

注意：使用node節點ip+nodeport也可以訪問。