K8S集群以及dashboard部署

本文轉載自查看原文 2021-10-09 21:54 175

什么是Kubernetes ？

Kubernetes是一個輕便的和可擴展的開源平台，用於管理容器化應用和服務。通過Kubernetes能夠進行應用的自動化部署和擴縮容。在Kubernetes中，會將組成應用的容器組合成

一個邏輯單元以更易管理和發現。

Kubernetes集群架構節點角色功能，包括：

Master Node節點：

1.k8s集群控制節點，對集群進行調度管理，接受集群外用戶去集群操作請求；

2.Master Node由API Server、Scheduler、ClusterState Store（ETCD數據庫）和Controller MangerServer所組成；

Worker Node節點：

1.集群工作節點，運行用戶業務應用容器；

2.Worker Node包含kubelet、kube proxy和ContainerRuntime；

Kubernetes 集群組件功能：

Master組件

1、API Server：

K8S對外的唯一接口，提供HTTP/HTTPS RESTful API，所有的請求都需要經過這個接口進行通信，主要負責接收、校驗並響應所有的REST請求，結果狀態被持久存儲在etcd當中，所有資源增刪改查的唯一入口。

2、etcd：

負責保存k8s 集群的配置信息和各種資源的狀態信息，當數據發生變化時，etcd會快速地通知k8s相關組件，etcd是一個獨立的服務組件，並不隸屬於K8S集群。生產環境當中etcd應該以集群方式運行，以確保服務的可用性。

3、Controller Manager：

負責管理集群各種資源，保證資源處於預期的狀態。Controller Manager由多種controller組成，包括replication controller、endpoints controller、namespace controller、serviceaccounts controller等。由控制器完成的主要功能主要包括生命周期功能和API業務邏輯，

4、調度器（Schedule）

資源調度，負責決定將Pod放到哪個Node上運行。Scheduler在調度時會對集群的結構進行分析，當前各個節點的負載，以及應用對高可用、性能等方面的需求。

Node組件

1、Kubelet

kubelet是node的agent，當Scheduler確定在某個Node上運行Pod后，會將Pod的具體配置信息（image、volume等）發送給該節點的kubelet，kubelet會根據這些信息創建和運行容器，並向master報告運行狀態。

2、Container Runtime

每個Node都需要提供一個容器運行時（Container Runtime）環境，它負責下載鏡像並運行容器。

3、Kube-proxy：

service在邏輯上代表了后端的多個Pod，外借通過service訪問Pod。service接收到請求就需要kube-proxy完成轉發到Pod的。每個Node都會運行kube-proxy服務，負責將訪問的service的TCP/UDP數據流轉發到后端的容器。

什么是pod ?

Kubernetes 並不直接地運行容器，而是被一個抽象的資源對象Pod所封裝，它是K8S最小的調度單位，Pod可以封裝一個或多個容器，同一個Pod中共享網絡名稱空間和存儲資源，而容器之間可以通過本地回環接口直接通信，但是彼此之間又在Mount、User和Pid等名稱空間上保持了隔離。

pod創建調度過程

1.首先，用戶使用create yaml創建pod，請求給apiseerver，apiserver將yaml中的屬性信息寫入etcd。

2.apiserver觸發watch機制開始創建pod，信息轉發給調度器，調度器使用算法選擇相應的node節點，並將node信息反饋給apiserver，apiserver將綁定的node信息寫入etcd。

3.apiserver再通過watch機制，調用kubelet，指定pod信息，觸發docker run命令創建容器，創建完成后反饋給kubelet, kubelet再將pod的狀態信息給apiserver,apiserver則將pod的狀態信息寫入etcd。

集群部署：

環境准備：

系統：centos7.6 1810 (Core)

K8s版本：1.21.x

docker版本：19.03.15

各虛擬服務器規划如下：

注：

一.各節點按規划配置好hosts,另本次復用在master01節點部署安裝工具，因此在master01做ssh-keygen,並ssh-copy-id其余節點

二.同時做好chrony時間同步

三. 各master以及node節點安裝docker

1.部署harbor，本次采用https

# 解壓軟件

[root@k8s-harbor tools]# tar xzvf harbor-offline-installer-v2.3.2.tgz

[root@k8s-harbor ~]# mkdir -p /key/harbor/certs/

[root@k8s-harbor ~]# cd /key/harbor/certs/

#生成key 以及簽發證書

[root@k8s-harbor certs]# openssl genrsa -out harbor-ca.key

[root@k8s-harbor certs]# openssl req -x509 -new -nodes -key harbor-ca.key -subj "/CN=magedu.gfeng.net" -days 7120 -out harbor-ca.crt

[root@k8s-harbor certs]# ls

修改配置文件：

[root@k8s-harbor tools]# vim harbor/harbor.yml

配置如下：

# https related config
https:
# https port for harbor, default is 443
port: 443
# The path of cert and key files for nginx
certificate: /key/harbor/certs/harbor-ca.crt
private_key: /key/harbor/certs/harbor-ca.key

# # Uncomment following will enable tls communication between all harbor components
# internal_tls:
# # set enabled to true means internal tls is enabled
# enabled: true
# # put your cert and key files on dir
# dir: /etc/harbor/tls/internal

# Uncomment external_url if you want to enable external proxy
# And when it enabled the hostname will no longer used
# external_url: https://reg.mydomain.com:8433

# The initial password of Harbor admin
# It only works in first time to install harbor
# Remember Change the admin password from UI after launching Harbor.
harbor_admin_password: 123456

# Harbor DB configuration
database:
# The password for the root user of Harbor DB. Change this before any production use.
password: root123
# The maximum number of connections in the idle connection pool. If it <=0, no idle connections are retained.
max_idle_conns: 100
# The maximum number of open connections to the database. If it <= 0, then there is no limit on the number of open connections.
# Note: the default number of connections is 1024 for postgres of harbor.
max_open_conns: 900

# The default data volume
data_volume: /data

安裝harbor:

[root@k8s-harbor harbor]# ./install.sh --with-trivy

安裝完成后，訪問https://172.16.1.174測試：

2.客戶端同步證書驗證

[root@k8s-master01 ~]# mkdir -p /etc/docker/certs.d/magedu.gfeng.net/

[root@k8s-harbor certs]# scp harbor-ca.crt root@172.16.1.190:/etc/docker/certs.d/magedu.gfeng.net/

[root@k8s-master01 magedu.gfeng.net]# ls

重啟docker並驗證

[root@k8s-master01 magedu.gfeng.net]# docker login magedu.gfeng.net

采用同樣的方式，對master02和node節點做同樣的操作，當然也可以采寫腳本，這里不做演示

3.部署haproxy+keepalive高可用負載（之前文章已經部署，這里不做演示）

#配置haproxy

[root@lb ~]# vim /etc/haproxy/haproxy.cfg

#添加如下內容：

frontend main 172.16.1.96:6443
default_backend k8s

backend k8s
balance roundrobin
server server1 172.16.1.190:6443 check
server server2 172.16.1.191:6443 check

#配置完成后，重啟haproxy

K8s部署：

1.在master01節點操作

#安裝ansible

[root@k8s-master01 ~]# yum install ansible -y

#下載部署工具以及組件

[root@k8s-master01 ~]# export release=3.1.0

[root@k8s-master01 ~]#curl -C- -fLO --retry 3 https://github.com/easzlab/kubeasz/releases/download/${release}/ezdown

[root@k8s-master01 ~]# chmod a+x ezdown

#修改配置文件

[root@k8s-master01 ~]# vim ezdown

# default settings, can be overridden by cmd line options, see usage
DOCKER_VER=19.03.15
KUBEASZ_VER=3.1.0
K8S_BIN_VER=v1.21.0

#使用工具腳本下載

./ezdown -D

上述腳本運行成功后，所有文件（kubeasz代碼、二進制、離線鏡像）均已整理好放入目錄/etc/kubeasz

2.生成ansible hosts文件

[root@k8s-master01 ~]# cd /etc/kubeasz/

[root@k8s-master01 kubeasz]# ./ezctl new k8s-001

#編輯生成hosts文件

[root@k8s-master01 kubeasz]# vim clusters/k8s-001/hosts

內容如下：

# 'etcd' cluster should have odd member(s) (1,3,5,...)
[etcd]
172.16.1.194
172.16.1.195
172.16.1.196

# master node(s)
[kube_master]
172.16.1.190
172.16.1.191

# work node(s)
[kube_node]
172.16.1.192
172.16.1.193

# [optional] harbor server, a private docker registry
# 'NEW_INSTALL': 'true' to install a harbor server; 'false' to integrate with existed one
[harbor]
#172.16.1.8 NEW_INSTALL=false

# [optional] loadbalance for accessing k8s from outside
[ex_lb]
172.16.1.97 LB_ROLE=backup EX_APISERVER_VIP=172.16.1.96 EX_APISERVER_PORT=8443
172.16.1.98 LB_ROLE=master EX_APISERVER_VIP=172.16.1.96 EX_APISERVER_PORT=8443

# [optional] ntp server for the cluster
[chrony]
#172.16.1.1

[all:vars]
# --------- Main Variables ---------------
# Secure port for apiservers
SECURE_PORT="6443"

# Cluster container-runtime supported: docker, containerd
CONTAINER_RUNTIME="docker"

# Network plugins supported: calico, flannel, kube-router, cilium, kube-ovn
CLUSTER_NETWORK="calico"

# Service proxy mode of kube-proxy: 'iptables' or 'ipvs'
PROXY_MODE="ipvs"

# K8S Service CIDR, not overlap with node(host) networking
SERVICE_CIDR="10.100.0.0/16"

# Cluster CIDR (Pod CIDR), not overlap with node(host) networking
CLUSTER_CIDR="10.200.0.0/16"

# NodePort Range
NODE_PORT_RANGE="30000-32767"

# Cluster DNS Domain
CLUSTER_DNS_DOMAIN="magedu.local"

# -------- Additional Variables (don't change the default value right now) ---
# Binaries Directory

#編輯生成config.yml文件

[root@k8s-master01 kubeasz]# vim /etc/kubeasz/clusters/k8s-001/config.yml

內容如下：

SYS_RESERVED_ENABLED: "no"

# haproxy balance mode
BALANCE_ALG: "roundrobin"

############################
# role:network [flannel,calico,cilium,kube-ovn,kube-router]
############################
# ------------------------------------------- flannel
# [flannel]設置flannel 后端"host-gw","vxlan"等
FLANNEL_BACKEND: "vxlan"
DIRECT_ROUTING: false

# [flannel] flanneld_image: "quay.io/coreos/flannel:v0.10.0-amd64"
flannelVer: "v0.13.0-amd64"
flanneld_image: "easzlab/flannel:{{ flannelVer }}"

# [flannel]離線鏡像tar包
flannel_offline: "flannel_{{ flannelVer }}.tar"

# ------------------------------------------- calico
# [calico]設置 CALICO_IPV4POOL_IPIP=“off”,可以提高網絡性能，條件限制詳見 docs/setup/calico.md
CALICO_IPV4POOL_IPIP: "Always"

# [calico]設置 calico-node使用的host IP，bgp鄰居通過該地址建立，可手工指定也可以自動發現
IP_AUTODETECTION_METHOD: "can-reach={{ groups['kube_master'][0] }}"

# [calico]設置calico 網絡 backend: brid, vxlan, none
CALICO_NETWORKING_BACKEND: "brid"

# [calico]更新支持calico 版本: [v3.3.x] [v3.4.x] [v3.8.x] [v3.15.x]
calico_ver: "v3.15.3"

# [calico]calico 主版本
calico_ver_main: "{{ calico_ver.split('.')[0] }}.{{ calico_ver.split('.')[1] }}"

# [calico]離線鏡像tar包
calico_offline: "calico_{{ calico_ver }}.tar"

# ------------------------------------------- cilium
# [cilium]CILIUM_ETCD_OPERATOR 創建的 etcd 集群節點數 1,3,5,7...
ETCD_CLUSTER_SIZE: 1

# [cilium]鏡像版本
cilium_ver: "v1.4.1"

# [cilium]離線鏡像tar包
cilium_offline: "cilium_{{ cilium_ver }}.tar"

# ------------------------------------------- kube-ovn
# [kube-ovn]選擇 OVN DB and OVN Control Plane 節點，默認為第一個master節點
OVN_DB_NODE: "{{ groups['kube_master'][0] }}"

# [kube-ovn]離線鏡像tar包
kube_ovn_ver: "v1.5.3"
kube_ovn_offline: "kube_ovn_{{ kube_ovn_ver }}.tar"

# ------------------------------------------- kube-router
# [kube-router]公有雲上存在限制，一般需要始終開啟 ipinip；自有環境可以設置為 "subnet"
OVERLAY_TYPE: "full"

# [kube-router]NetworkPolicy 支持開關
FIREWALL_ENABLE: "true"

# [kube-router]kube-router 鏡像版本
############################
# prepare
############################
# 可選離線安裝系統軟件包 (offline|online)
INSTALL_SOURCE: "online"

# 可選進行系統安全加固 github.com/dev-sec/ansible-collection-hardening
OS_HARDEN: false

# 設置時間源服務器【重要：集群內機器時間必須同步】
ntp_servers:
- "ntp1.aliyun.com"
- "time1.cloud.tencent.com"
- "0.cn.pool.ntp.org"

# 設置允許內部時間同步的網絡段，比如"10.0.0.0/8"，默認全部允許
local_network: "0.0.0.0/0"

############################
# role:deploy
############################
# default: ca will expire in 100 years
# default: certs issued by the ca will expire in 50 years
CA_EXPIRY: "876000h"
CERT_EXPIRY: "438000h"

# kubeconfig 配置參數
CLUSTER_NAME: "cluster1"
CONTEXT_NAME: "context-{{ CLUSTER_NAME }}"

############################
# role:etcd
############################
# 設置不同的wal目錄，可以避免磁盤io競爭，提高性能
ETCD_DATA_DIR: "/var/lib/etcd"
ETCD_WAL_DIR: ""

############################
# role:runtime [containerd,docker]
############################
# ------------------------------------------- containerd
# [.]啟用容器倉庫鏡像
ENABLE_MIRROR_REGISTRY: true

# [containerd]基礎容器鏡像
SANDBOX_IMAGE: "easzlab/pause-amd64:3.4.1"

# [containerd]容器持久化存儲目錄
CONTAINERD_STORAGE_DIR: "/var/lib/containerd"

# ------------------------------------------- docker
# [docker]容器存儲目錄
DOCKER_STORAGE_DIR: "/var/lib/docker"

# [docker]開啟Restful API
ENABLE_REMOTE_API: false

# [docker]信任的HTTP倉庫
INSECURE_REG: '["127.0.0.1/8","172.16.1.174"]'

############################
# role:kube-master
############################
# k8s 集群 master 節點證書配置，可以添加多個ip和域名（比如增加公網ip和域名）
MASTER_CERT_HOSTS:
- "10.1.1.1"
- "k8s.test.io"
#- "www.test.com"

# node 節點上 pod 網段掩碼長度（決定每個節點最多能分配的pod ip地址）
# 如果flannel 使用 --kube-subnet-mgr 參數，那么它將讀取該設置為每個節點分配pod網段
# https://github.com/coreos/flannel/issues/847
NODE_CIDR_LEN: 24

############################
# role:kube-node
############################
# Kubelet 根目錄
KUBELET_ROOT_DIR: "/var/lib/kubelet"

# node節點最大pod 數
MAX_PODS: 210

# 配置為kube組件（kubelet,kube-proxy,dockerd等）預留的資源量
# 數值設置詳見templates/kubelet-config.yaml.j2
KUBE_RESERVED_ENABLED: "yes"

# k8s 官方不建議草率開啟 system-reserved, 除非你基於長期監控，了解系統的資源占用狀況；
# 並且隨着系統運行時間，需要適當增加資源預留，數值設置詳見templates/kubelet-config.yaml.j2
# 系統預留設置基於 4c/8g 虛機，最小化安裝系統服務，如果使用高性能物理機可以適當增加預留
# 另外，集群安裝時候apiserver等資源占用會短時較大，建議至少預留1g內存
SYS_RESERVED_ENABLED: "no"