Kubernetes安裝

1. 節點規划

部署k8s集群的節點按照用途可以划分為如下2類角色：

• master：集群的master節點，集群的初始化節點，基礎配置不低於2C4G
• slave：集群的slave節點，可以多台，基礎配置不低於2C4G

本例為了演示slave節點的添加，會部署一台master+2台slave，節點規划如下：

主機名	節點ip	角色	部署組件
k8s-master	192.168.136.10	master	etcd, kube-apiserver, kube-controller-manager, kubectl, kubeadm, kubelet, kube-proxy, flannel
k8s-slave1	192.168.136.11	slave	kubectl, kubelet, kube-proxy, flannel
k8s-slave2	192.168.136.12	slave	kubectl, kubelet, kube-proxy, flannel

2. 組件版本

組件	版本	說明
CentOS	7.8.2003
Kernel	Linux 3.10.0-1062.9.1.el7.x86_64
etcd	3.3.15	使用容器方式部署，默認數據掛載到本地路徑
coredns	1.6.2
kubeadm	v1.16.2
kubectl	v1.16.2
kubelet	v1.16.2
kube-proxy	v1.16.2
flannel	v0.11.0

安裝前准備工作

1. 設置hosts解析

操作節點：所有節點（k8s-master，k8s-slave）均需執行

• 修改hostname
  hostname必須只能包含小寫字母、數字、","、"-"，且開頭結尾必須是小寫字母或數字

# 在master節點
$ hostnamectl set-hostname k8s-master #設置master節點的hostname

# 在slave-1節點
$ hostnamectl set-hostname k8s-slave1 #設置slave1節點的hostname

# 在slave-2節點
$ hostnamectl set-hostname k8s-slave2 #設置slave2節點的hostname

• 添加hosts解析

$ cat >>/etc/hosts<<EOF
192.168.136.10 k8s-master
192.168.136.11 k8s-slave1
192.168.136.12 k8s-slave2
EOF

2. 調整系統配置

操作節點： 所有的master和slave節點（k8s-master,k8s-slave）需要執行

本章下述操作均以k8s-master為例，其他節點均是相同的操作（ip和hostname的值換成對應機器的真實值）

• 設置安全組開放端口

如果節點間無安全組限制（內網機器間可以任意訪問），可以忽略，否則，至少保證如下端口可通：
k8s-master節點：TCP：6443，2379，2380，60080，60081UDP協議端口全部打開
k8s-slave節點：UDP協議端口全部打開

• 設置iptables

iptables -P FORWARD ACCEPT

• 關閉swap

swapoff -a
# 防止開機自動掛載 swap 分區
sed -i '/ swap / s/^\(.*\)$/#\1/g' /etc/fstab

• 關閉selinux和防火牆

sed -ri 's#(SELINUX=).*#\1disabled#' /etc/selinux/config
setenforce 0
systemctl disable firewalld && systemctl stop firewalld

• 修改內核參數

cat <<EOF >  /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.ipv4.ip_forward=1
vm.max_map_count=262144
EOF
modprobe br_netfilter
sysctl -p /etc/sysctl.d/k8s.conf

• 設置yum源

$ curl -o /etc/yum.repos.d/Centos-7.repo http://mirrors.aliyun.com/repo/Centos-7.repo
$ curl -o /etc/yum.repos.d/docker-ce.repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
$ cat <<EOF > /etc/yum.repos.d/kubernetes.repo
[kubernetes]
name=Kubernetes
baseurl=http://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=http://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg
        http://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
$ yum clean all && yum makecache

3. 安裝docker

操作節點： 所有節點

 ## 查看所有的可用版本
$ yum list docker-ce --showduplicates | sort -r
##安裝舊版本 yum install docker-ce-cli-18.09.9-3.el7  docker-ce-18.09.9-3.el7
## 安裝源里最新版本
$ yum install docker-ce

## 配置docker加速
$ mkdir -p /etc/docker
vi /etc/docker/daemon.json
{
  "insecure-registries": [    
    "192.168.136.10:5000" 
  ],                          
  "registry-mirrors" : [
    "https://8xpk5wnt.mirror.aliyuncs.com"
  ]
}
## 啟動docker
$ systemctl enable docker && systemctl start docker

部署kubernetes

1. 安裝 kubeadm, kubelet 和 kubectl

操作節點： 所有的master和slave節點(k8s-master,k8s-slave) 需要執行

$ yum install -y kubelet-1.16.2 kubeadm-1.16.2 kubectl-1.16.2 --disableexcludes=kubernetes
## 查看kubeadm 版本
$ kubeadm version
## 設置kubelet開機啟動
$ systemctl enable kubelet 

2. 初始化配置文件

操作節點： 只在master節點（k8s-master）執行

$ kubeadm config print init-defaults > kubeadm.yaml
$ cat kubeadm.yaml
apiVersion: kubeadm.k8s.io/v1beta2
bootstrapTokens:
- groups:
  - system:bootstrappers:kubeadm:default-node-token
  token: abcdef.0123456789abcdef
  ttl: 24h0m0s
  usages:
  - signing
  - authentication
kind: InitConfiguration
localAPIEndpoint:
  advertiseAddress: 192.168.136.10  # apiserver地址，因為單master，所以配置master的節點內網IP
  bindPort: 6443
nodeRegistration:
  criSocket: /var/run/dockershim.sock
  name: k8s-master
  taints:
  - effect: NoSchedule
    key: node-role.kubernetes.io/master
---
apiServer:
  timeoutForControlPlane: 4m0s
apiVersion: kubeadm.k8s.io/v1beta2
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes
controllerManager: {}
dns:
  type: CoreDNS
etcd:
  local:
    dataDir: /var/lib/etcd
imageRepository: registry.aliyuncs.com/google_containers  # 修改成阿里鏡像源
kind: ClusterConfiguration
kubernetesVersion: v1.16.2
networking:
  dnsDomain: cluster.local
  podSubnet: 10.244.0.0/16  # Pod 網段，flannel插件需要使用這個網段
  serviceSubnet: 10.96.0.0/12
scheduler: {}

對於上面的資源清單的文檔比較雜，要想完整了解上面的資源對象對應的屬性，可以查看對應的 godoc 文檔，地址: https://godoc.org/k8s.io/kubernetes/cmd/kubeadm/app/apis/kubeadm/v1beta2。

3. 提前下載鏡像

操作節點：只在master節點（k8s-master）執行

  # 查看需要使用的鏡像列表,若無問題，將得到如下列表
$ kubeadm config images list --config kubeadm.yaml
registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
registry.aliyuncs.com/google_containers/pause:3.1
registry.aliyuncs.com/google_containers/etcd:3.3.15-0
registry.aliyuncs.com/google_containers/coredns:1.6.2
  # 提前下載鏡像到本地
$ kubeadm config images pull --config kubeadm.yaml
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-apiserver:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-controller-manager:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-scheduler:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/kube-proxy:v1.16.0
[config/images] Pulled registry.aliyuncs.com/google_containers/pause:3.1
[config/images] Pulled registry.aliyuncs.com/google_containers/etcd:3.3.15-0
[config/images] Pulled registry.aliyuncs.com/google_containers/coredns:1.6.2

重要更新：如果出現不可用的情況，請使用如下方式來代替：

1. 還原kubeadm.yaml的imageRepository

   ...
   imageRepository: k8s.gcr.io
   ...
   
   ## 查看使用的鏡像源
   kubeadm config images list --config kubeadm.yaml
   k8s.gcr.io/kube-apiserver:v1.16.0
   k8s.gcr.io/kube-controller-manager:v1.16.0
   k8s.gcr.io/kube-scheduler:v1.16.0
   k8s.gcr.io/kube-proxy:v1.16.0
   k8s.gcr.io/pause:3.1
   k8s.gcr.io/etcd:3.3.15-0
   k8s.gcr.io/coredns:1.6.2
   

2. 使用docker hub中的鏡像源來下載，注意上述列表中要加上處理器架構，通常我們使用的虛擬機都是amd64

   $ docker pull mirrorgooglecontainers/kube-scheduler-amd64:v1.16.0
   $ docker pull mirrorgooglecontainers/etcd-amd64:3.3.15-0
   ...
   $ docker tag mirrorgooglecontainers/etcd-amd64:3.3.15-0 k8s.gcr.io/etcd:3.3.15-0
   

4. 初始化master節點

操作節點：只在master節點（k8s-master）執行

kubeadm init --config kubeadm.yaml

若初始化成功后，最后會提示如下信息：

...
Your Kubernetes master has initialized successfully!

To start using your cluster, you need to run the following as a regular user:

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

You should now deploy a pod network to the cluster.
Run "kubectl apply -f [podnetwork].yaml" with one of the options listed at:
  https://kubernetes.io/docs/concepts/cluster-administration/addons/

Then you can join any number of worker nodes by running the following on each as root:

kubeadm join 192.168.136.10:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f

接下來按照上述提示信息操作，配置kubectl客戶端的認證

  mkdir -p $HOME/.kube
  sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
  sudo chown $(id -u):$(id -g) $HOME/.kube/config

⚠️注意：此時使用 kubectl get nodes查看節點應該處於notReady狀態，因為還未配置網絡插件

若執行初始化過程中出錯，根據錯誤信息調整后，執行kubeadm reset后再次執行init操作即可

5. 添加slave節點到集群中

操作節點：所有的slave節點（k8s-slave）需要執行
在每台slave節點，執行如下命令，該命令是在kubeadm init成功后提示信息中打印出來的，需要替換成實際init后打印出的命令。

kubeadm join 192.168.136.10:6443 --token abcdef.0123456789abcdef \
    --discovery-token-ca-cert-hash sha256:1c4305f032f4bf534f628c32f5039084f4b103c922ff71b12a5f0f98d1ca9a4f

6. 安裝flannel插件

操作節點：只在master節點（k8s-master）執行

• 下載flannel的yaml文件

wget https://raw.githubusercontent.com/coreos/flannel/2140ac876ef134e0ed5af15c65e414cf26827915/Documentation/kube-flannel.yml

• 修改配置，指定網卡名稱，大概在文件的190行，添加一行配置：

$ vi kube-flannel.yml
...      
      containers:
      - name: kube-flannel
        image: quay.io/coreos/flannel:v0.11.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=eth0  # 如果機器存在多網卡的話，指定內網網卡的名稱，默認不指定的話會找第一塊網
        resources:
          requests:
            cpu: "100m"
...

• （可選）修改flannel鏡像地址，以防默認的鏡像拉取失敗，同樣是在170和190行上下的位置

vi kube-flannel.yml
...      
      containers:
      - name: kube-flannel
        image: 192.168.136.10:5000/flannel:v0.11.0-amd64
        command:
        - /opt/bin/flanneld
        args:
        - --ip-masq
        - --kube-subnet-mgr
        - --iface=ens33  # 如果機器存在多網卡的話，指定內網網卡的名稱，默認不指定的話會找第一塊網
        resources:
          requests:
            cpu: "100m"
...

• 執行安裝flannel網絡插件

# 先拉取鏡像,此過程國內速度比較慢
$ docker pull quay.io/coreos/flannel:v0.11.0-amd64
# 執行flannel安裝
$ kubectl create -f kube-flannel.yml

7. 設置master節點是否可調度（可選）

操作節點：k8s-master

默認部署成功后，master節點無法調度業務pod，如需設置master節點也可以參與pod的調度，需執行：

$ kubectl taint node k8s-master node-role.kubernetes.io/master:NoSchedule-

8. 驗證集群

操作節點： 在master節點（k8s-master）執行

$ kubectl get nodes  #觀察集群節點是否全部Ready

創建測試nginx服務

$ kubectl run  test-nginx --image=nginx:alpine

查看pod是否創建成功，並訪問pod ip測試是否可用

$ kubectl get po -o wide
NAME                          READY   STATUS    RESTARTS   AGE   IP           NODE         NOMINATED NODE   READINESS GATES
test-nginx-5bd8859b98-5nnnw   1/1     Running   0          9s    10.244.1.2   k8s-slave1   <none>           <none>
$ curl 10.244.1.2
...
<h1>Welcome to nginx!</h1>
<p>If you see this page, the nginx web server is successfully installed and
working. Further configuration is required.</p>

<p>For online documentation and support please refer to
<a href="http://nginx.org/">nginx.org</a>.<br/>
Commercial support is available at
<a href="http://nginx.com/">nginx.com</a>.</p>

<p><em>Thank you for using nginx.</em></p>
</body>
</html>

9. 部署dashboard

• 部署服務

# 推薦使用下面這種方式
$ wget https://raw.githubusercontent.com/kubernetes/dashboard/v2.0.0-rc5/aio/deploy/recommended.yaml
$ vi recommended.yaml
# 修改Service為NodePort類型，文件的45行上下
......
kind: Service
apiVersion: v1
metadata:
  labels:
    k8s-app: kubernetes-dashboard
  name: kubernetes-dashboard
  namespace: kubernetes-dashboard
spec:
  ports:
    - port: 443
      targetPort: 8443
  selector:
    k8s-app: kubernetes-dashboard
  type: NodePort  # 加上type=NodePort變成NodePort類型的服務
......

• 查看訪問地址，本例為30133端口

kubectl create -f recommended.yaml
kubectl -n kubernetes-dashboard get svc
NAME                        TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)         AGE
dashboard-metrics-scraper   ClusterIP   10.105.62.124   <none>        8000/TCP        31m
kubernetes-dashboard        NodePort    10.103.74.46    <none>        443:30133/TCP   31m 

• 使用瀏覽器訪問 https://192.168.136.10:30133，其中192.168.136.10為master節點的外網ip地址，chrome目前由於安全限制，測試訪問不了，使用firefox可以進行訪問。

• 創建ServiceAccount進行訪問

$ vi admin.conf
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1beta1
metadata:
  name: admin
  annotations:
    rbac.authorization.kubernetes.io/autoupdate: "true"
roleRef:
  kind: ClusterRole
  name: cluster-admin
  apiGroup: rbac.authorization.k8s.io
subjects:
- kind: ServiceAccount
  name: admin
  namespace: kubernetes-dashboard

---
apiVersion: v1
kind: ServiceAccount
metadata:
  name: admin
  namespace: kubernetes-dashboard

$ kubectl create -f admin.conf
$ kubectl -n kubernetes-dashboard get secret |grep admin-token
admin-token-fqdpf                  kubernetes.io/service-account-token   3      7m17s
# 使用該命令拿到token，然后粘貼到
$ kubectl -n kubernetes-dashboard get secret admin-token-fqdpf -o jsonpath={.data.token}|base64 -d
eyJhbGciOiJSUzI1NiIsImtpZCI6Ik1rb2xHWHMwbWFPMjJaRzhleGRqaExnVi1BLVNRc2txaEhETmVpRzlDeDQifQ.eyJpc3MiOiJrdWJlcm5ldGVzL3NlcnZpY2VhY2NvdW50Iiwia3ViZXJuZXRlcy5pby9zZXJ2aWNlYWNjb3VudC9uYW1lc3BhY2UiOiJrdWJlcm5ldGVzLWRhc2hib2FyZCIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VjcmV0Lm5hbWUiOiJhZG1pbi10b2tlbi1mcWRwZiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50Lm5hbWUiOiJhZG1pbiIsImt1YmVybmV0ZXMuaW8vc2VydmljZWFjY291bnQvc2VydmljZS1hY2NvdW50LnVpZCI6IjYyNWMxNjJlLTQ1ZG...

10. 清理環境

如果你的集群安裝過程中遇到了其他問題，我們可以使用下面的命令來進行重置：

$ kubeadm reset
$ ifconfig cni0 down && ip link delete cni0
$ ifconfig flannel.1 down && ip link delete flannel.1
$ rm -rf /var/lib/cni/