二進制包安裝Kubernetes集群環境完整版

Kubernetes 概述

1. Kubernetes是什么

•  Kubernetes是Google在2014年開源的一個容器集群管理系統，Kubernetes簡稱K8S。
• K8S用於容器化應用程序的部署，擴展和管理。
•  K8S提供了容器編排，資源調度，彈性伸縮，部署管理，服務發現等一系列功能。
•  Kubernetes目標是讓部署容器化應用簡單高效。

官方網站：http://www.kubernetes.io

2. Kubernetes特性

自我修復
在節點故障時重新啟動失敗的容器，替換和重新部署，保證預期的副本數量；殺死健康檢查失敗的容器，並且在未准備好之前不會處理客戶端請求，確保線上服務不中斷。
 彈性伸縮
使用命令、UI或者基於CPU使用情況自動快速擴容和縮容應用程序實例，保證應用業務高峰並發時的高可用性；業務低峰時回收資源，以最小成本運行服務。
 自動部署和回滾
K8S采用滾動更新策略更新應用，一次更新一個Pod，而不是同時刪除所有Pod，如果更新過程中出現問題，將回滾更改，確保升級不受影響業務。
服務發現和負載均衡
K8S為多個容器提供一個統一訪問入口（內部IP地址和一個DNS名稱），並且負載均衡關聯的所有容器，使得用戶無需考慮容器IP問題。
 機密和配置管理
管理機密數據和應用程序配置，而不需要把敏感數據暴露在鏡像里，提高敏感數據安全性。並可以將一些常用的配置存儲在K8S中，方便應用程序使用。
 存儲編排
掛載外部存儲系統，無論是來自本地存儲，公有雲（如AWS），還是網絡存儲（如NFS、GlusterFS、Ceph）都作為集群資源的一部分使用，極大提高存儲使用靈活性。
批處理
提供一次性任務，定時任務；滿足批量數據處理和分析的場景。

3. Kubernetes集群架構與組件

 

Master組件

• kube-apiserver Kubernetes API  集群的統一入口，各組件協調者，以 RESTful API提供接口服務，所有對象資源的增刪改查和監聽 操作都交給APIServer處理后再提交給Etcd存儲。
• kube-controller-manager 處理集群中常規后台任務，一個資源對應一個控制器，而 ControllerManager就是負責管理這些控制器的。
• kube-scheduler 根據調度算法為新創建的Pod選擇一個Node節點，可以任意 部署,可以部署在同一個節點上,也可以部署在不同的節點上。
• etcd 分布式鍵值存儲系統。用於保存集群狀態數據，比如Pod、 Service等對象信息。

Node組件

• kubelet kubelet 是Master在Node節點上的Agent，管理本機運行容器 的生命周期，比如創建容器、Pod掛載數據卷、下載secret、獲 取容器和節點狀態等工作。
• kubelet   將每個Pod轉換成一組容器。
• kube-proxy 在Node節點上實現Pod網絡代理，維護網絡規則和四層負載均 衡工作。 docker或rocket 容器引擎，運行容器

4. Kubernetes核心概念

 Pod

• 最小部署單元
•  一組容器的集合
• 一個Pod中的容器共享網絡命名空間
•  Pod是短暫的

Controllers

• ReplicaSet ： 確保預期的Pod副本數量 
• Deployment ： 無狀態應用部署 
• StatefulSet ： 有狀態應用部署
• DaemonSet ： 確保所有Node運行同一個Pod 
• Job ： 一次性任務 
• Cronjob ： 定時任務
• 更高級層次對象，部署和管理Pod

 Service

• 防止Pod失聯
•  定義一組Pod的訪問策略

Label

• 標簽，附加到某個資源上，用於關聯對象、查詢和篩選

Namespace 

• 命名空間，將對象邏輯上隔離

搭建一個 Kubernetes 集群

1. 官方提供的三種部署方式

• minikube

Minikube是一個工具，可以在本地快速運行一個單點的Kubernetes，嘗試Kubernetes或日常開發的用戶使用。不能用於生產環境。

官方地址：https://kubernetes.io/docs/setup/minikube/

• kubeadm

Kubeadm也是一個工具，提供kubeadm init和kubeadm join，用於快速部署Kubernetes集群。

官方地址：https://kubernetes.io/docs/reference/setup-tools/kubeadm/kubeadm/

• 二進制包

從官方下載發行版的二進制包，手動部署每個組件，組成Kubernetes集群。

小結：
生產環境中部署Kubernetes集群，只有Kubeadm和二進制包可選，Kubeadm降低部署門檻，但屏蔽了很多細節，遇到問題很難排查。我們這里使用二進制包部署Kubernetes集群，我也是推薦大家使用這種方式，雖然手動部署麻煩點，但學習很多工作原理，更有利於后期維護。

2. Kubernetes集群環境規划

軟件環境

軟件	版本
操作系統	CentOS7.5_x64
Docker	18-ce
Kubernetes	1.12

服務器角色

角色	IP	組件
k8s-master	192.168.116.129	kube-apiserver，kube-controller-manager，kube-scheduler，etcd
k8s-node1	192.168.116.130	kubelet，kube-proxy，docker，flannel，etcd
k8s-node2	192.168.116.131	kubelet，kube-proxy，docker，flannel，etcd

需要的軟件和腳本，失效可聯系我

鏈接: https://pan.baidu.com/s/1Vr8jOFgo4b8tQM9AUtXC_A 提取碼: yhhn 

架構圖

3. HTTPS證書介紹

1、關閉selinux

 sed -i 's/enforcing/disabled/' /etc/selinux/config 
 setenforce 0

2、關閉防火牆

systemctl stop firewalld
systemctl disable firewalld

3、關閉swap

swapoff -a

4、修改主機名

hostnamectl set-hostname 名字

5、同步時間

 yum install -y ntpdate && ntpdate time.windows.com

以上步驟可以參考下方鏈接

kubeadm部署Kubernetes（k8s）完整版詳細教程

自簽SSL證書

准備使用etcd-cert生成證書

上傳cfssl.sh，運行腳本

生成下面兩個文件，記住是tab補全查看

執行下面命令，生成兩個文件

cat > ca-config.json <<EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json <<EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

執行

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

cat etcd-cert.sh 

cat > server-csr.json <<EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.116.129",
    "192.168.116.130",
    "192.168.116.131"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

頒發證書

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

4. Etcd數據庫集群部署

上傳etcd安裝包

【etcd-v3.3.10-linux-amd64.tar.gz】

解壓

 tar zxvf etcd-v3.3.10-linux-amd64.tar.gz 

為了方便安裝，創建下面目錄安裝。

[root@master etcd-v3.3.10-linux-amd64]# mkdir -p  /opt/etcd/{cfg,bin,ssl}
[root@master etcd-v3.3.10-linux-amd64]# ls /opt/etcd/
bin  cfg  ssl
[root@master etcd-v3.3.10-linux-amd64]# mv etcd etcdctl /opt/etcd/bin/
[root@master etcd-v3.3.10-linux-amd64]# ls /opt/etcd/bin/
etcd  etcdctl

使用腳本部署etcd

chmod +x etcd.sh 

運行腳本

./etcd.sh etcd01 192.168.116.129 etcd02=https://192.168.116.130:2380,etcd03=https://192.168.116.131:2380

可以查看etcd的運行服務文件

cat /usr/lib/systemd/system/etcd.service 

拷貝證書

 cp /root/k8s/etcd-cert/{ca,server-key,server}.pem /opt/etcd/ssl/

啟動etcd

systemctl start etcd

 

已經部署一個成功，但是還有兩個機器沒有部署etcd。需要把/opt/的etcd目錄移到其余節點配置

還有/usr/lib/systemd/system/etcd.service這個配置文件

 

拷貝過去還需要修改配置文件才能啟動。

vi /opt/etcd/cfg/etcd

這幾個需要修改本機對於的ip

切忌要給下方的文件執行權限，不然會報錯

/opt/etcd/bin

啟動

systemctl daemon-reload

systemctl start etcd

已經完成啟動

在node2也按照上方部署就行。

查看先前日志【沒有報任何錯誤，已經成功搭建集群】

tail /var/log/messages -f

測試

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379"  cluster-health

5. Node安裝Docker

安裝依賴軟件

yum install -y yum-utils device-mapper-persistent-data lvm2

yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo

安裝docker-ce

yum install docker-ce -y

配置docker加速器

curl -sSL https://get.daocloud.io/daotools/set_mirror.sh | sh -s http://bc437cce.m.daocloud.io

啟動docker

 systemctl start docker

開機自啟

systemctl enable docker

 

6. Flannel容器集群網絡部署

Kubernetes網絡模型設計基本要求：

• 一個Pod一個IP
• 每個Pod獨立IP，Pod內所有容器共享網絡（同一個IP）
• 所有容器都可以與所有其他容器通信
• 所有節點都可以與所有有容器通信

工作原理：

添加網段

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379" set /coreos.com/network/config  '{ "Network": "172.17.0.0/16", "Backend": {"Type": "vxlan"}}'

/opt/etcd/bin/etcdctl --ca-file=/opt/etcd/ssl/ca.pem --cert-file=/opt/etcd/ssl/server.pem --key-file=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379" get /coreos.com/network/config 

上傳Flannel【在node上部署flannel】

方便管理flannel，創建下面文件

mkdir -p /opt/kubernetes/{bin,cfg,ssl}

使用flannel連接etcd形式執行腳本

 ./flannel.sh https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379

解壓flannel-v0.10.0-linux-amd64.tar.gz

tar zxvf flannel-v0.10.0-linux-amd64.tar.gz

mv flanneld mk-docker-opts.sh /opt/kubernetes/bin/

啟動flannel，成功

systemctl start flanneld

重啟docker

systemctl restart docker

安裝openssh-clients，把flannel的配置文件復制到Node2上。

 yum install -y openssh-clients

傳輸到Node2上

 scp -r /opt/kubernetes/ root@192.168.116.131:/opt/

scp /usr/lib/systemd/system/{flanneld,docker}.service root@192.168.116.131:/usr/lib/systemd/system/

在Node2上啟動flanneld

 systemctl start flanneld
 systemctl start docker

7. 部署Master組件

1. kube-apiserver

2. kube-controller-manager

3. kube-scheduler

配置文件 -> systemd管理組件 -> 啟動

上傳Master

unzip master.zip 

上傳kubernetes-server-linux-amd64.tar.gz

 tar zxvf kubernetes-server-linux-amd64.tar.gz

創建安裝目錄，方便使用

 mkdir -p /opt/kubernetes/{bin,cfg,ssl}

來到/root/k8s/soft/kubernetes/server/bin目錄下拷貝文件

 cp kube-apiserver kube-controller-manager kube-scheduler /opt/kubernetes/bin/

執行apiserver.sh 【腳本 masterip etcd的ip】

./apiserver.sh 192.168.116.129 https://192.168.116.129:2379,https://192.168.116.130:2379,https://192.168.116.131:2379

查看生成的配文件

cat /opt/kubernetes/cfg/kube-apiserver 

上傳k8s-cert.sh，生成證書

 bash k8s-cert.sh

復制證書到/opt/kubernetes/ssl/里

cp ca.pem ca-key.pem server.pem server-key.pem /opt/kubernetes/ssl/

上傳token配置文件，生成token。

BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008

cat > token.csv <<EOF
${BOOTSTRAP_TOKEN},kubelet-bootstrap,10001,"system:kubelet-bootstrap"
EOF

生成token.csv

文件移動

mv token.csv /opt/kubernetes/cfg/

啟動kube-apiserver

systemctl restart kube-apiserver

查看監聽端口

[root@master k8s-cert]# netstat -ano | grep 8080
tcp        0      0 127.0.0.1:8080          0.0.0.0:*               LISTEN      off (0.00/0/0)
[root@master k8s-cert]# netstat -ano | grep 6443
tcp        0      0 192.168.116.129:6443    0.0.0.0:*               LISTEN      off (0.00/0/0)
tcp        0      0 192.168.116.129:44594   192.168.116.129:6443    ESTABLISHED keepalive (9.93/0/0)
tcp        0      0 192.168.116.129:6443    192.168.116.129:44594   ESTABLISHED keepalive (109.64/0/0)

運行controller-manager.sh

 ./controller-manager.sh 127.0.0.1
./scheduler.sh 127.0.0.1

[root@master k8s]# ls
apiserver.sh  controller-manager.sh  etcd-cert  etcd.sh  flannel.sh  k8s-cert  master.zip  scheduler.sh  soft
[root@master k8s]# ./controller-manager.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-controller-manager.service to /usr/lib/systemd/system/kube-controller-manager.service.
[root@master k8s]# ./scheduler.sh 127.0.0.1
Created symlink from /etc/systemd/system/multi-user.target.wants/kube-scheduler.service to /usr/lib/systemd/system/kube-scheduler.service.

創建kubectl管理工具

 cp kubectl /usr/bin/

查看集群健康狀態

 kubectl get cs

查看資源名字簡寫

kubectl api-resources

8. 部署Node組件

1. 將kubelet-bootstrap用戶綁定到系統集群角色

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

2. 創建kubeconfig文件

#----------------------

APISERVER=$1
SSL_DIR=$2
#需要先前創建的token
BOOTSTRAP_TOKEN=0fb61c46f8991b718eb38d27b605b008

# 創建kubelet bootstrapping kubeconfig 
export KUBE_APISERVER="https://$APISERVER:6443"

# 設置集群參數
kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig

# 設置客戶端認證參數
kubectl config set-credentials kubelet-bootstrap \
  --token=${BOOTSTRAP_TOKEN} \
  --kubeconfig=bootstrap.kubeconfig

# 設置上下文參數
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kubelet-bootstrap \
  --kubeconfig=bootstrap.kubeconfig

# 設置默認上下文
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

#----------------------

# 創建kube-proxy kubeconfig文件

kubectl config set-cluster kubernetes \
  --certificate-authority=$SSL_DIR/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-credentials kube-proxy \
  --client-certificate=$SSL_DIR/kube-proxy.pem \
  --client-key=$SSL_DIR/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig

kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

執行腳本

 bash kubeconfig.sh 192.168.116.129 /root/k8s/k8s-cert/

把這兩個文件拷貝到2個Node的/opt/kubernetes/cfg/

scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.116.130:/opt/kubernetes/cfg/
scp bootstrap.kubeconfig kube-proxy.kubeconfig root@192.168.116.131:/opt/kubernetes/cfg/

3. 部署kubelet，kube-proxy組件

上傳node包

把matser里面的kubelet和kube-poxy拷貝過來

scp kubelet kube-proxy root@192.168.116.130:/opt/kubernetes/bin/
scp kubelet kube-proxy root@192.168.116.131:/opt/kubernetes/bin/

運行 kubelet.sh

 bash kubelet.sh 192.168.116.130

Master節點頒發csr

kubectl get csr

kubectl certificate approve node-csr-96wka1dqU6bV1MMXD1nNUw14Av8NU6H6IW11ecJlYM0

運行proxy.sh

bash proxy.sh 192.168.116.130

9. 部署多個Node操作

復制粘貼Node1已經部署好的文件

scp -r /opt/kubernetes/ root@192.168.116.131:/opt/

scp /usr/lib/systemd/system/{kubelet,kube-proxy}.service root@192.168.116.131:/usr/lib/systemd/system/

刪除復制過來的證書

修改Node2上配置文件的IP地址

修改完畢，重啟即可。

[root@node2 cfg]# systemctl restart kubelet
[root@node2 cfg]# systemctl restart kube-proxy
[root@node2 cfg]# ps -ef | grep kube

 

去Master節點頒發證書

kubectl certificate approve node-csr-96wka1dqU6bV1MMXD1nNUw14Av8NU6H6IW11ecJlYM0