二進制方式安裝搭建k8s集群

本文轉載自查看原文 2022-03-08 21:00 936 k8s & 微服務/ Docker

使用三台服務器搭建k8s集群，集群服務器地址規划如下：

IP	hostname	備注
192.168.206.128	master	主節點
192.168.206.129	node1	從節點
192.168.206.130	node2	從節點

1.環境配置

1.1 修改主機名

master:

hostnamectl set-hostname master

node1:

hostnamectl set-hostname node1

node2:

hostnamectl set-hostname

1.2 關閉防火牆（all）

systemctl stop firewalld
systemctl disable firewalld

1.3 關閉selinux（all）

setenforce 0 # 臨時關閉
sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/selinux/config # 永久關閉

1.4 關閉swap（all）

swapoff -a # 臨時關閉；關閉swap主要是為了性能考慮
sed -ri 's/.*swap.*/#&/' /etc/fstab
free # 查看內存，swap為0則為關閉

1.5 將橋接的IPv4流量傳遞到iptables的鏈（all）

cat > /etc/sysctl.d/k8s.conf << EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

sysctl --system

1.6 添加主機名與IP對應的關系 ( master )

cat >> /etc/hosts << EOF 
192.168.206.128 master
192.168.206.129 node1
192.168.206.130 node2
EOF

2.准備 cfssl 證書生成工具 ( master )

cfssl 是一個開源的證書管理工具，使用 json 文件生成證書，相比 openssl 更方便使用。找任意一台服務器操作，這里用 Master 節點。

wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl_linux-amd64 cfssljson_linux-amd64 cfssl-certinfo_linux-amd64
mv cfssl_linux-amd64 /usr/local/bin/cfssl
mv cfssljson_linux-amd64 /usr/local/bin/cfssljson
mv cfssl-certinfo_linux-amd64 /usr/bin/cfssl-certinfo
chmod +x /usr/bin/cfssl*

2.1 生成 Etcd 證書（1）自簽證書頒發機構（CA）創建工作目錄

mkdir -p ~/TLS/{etcd,k8s}

cd TLS/etcd

2.2 自簽CA

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "www": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "etcd CA",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing"
        }
    ]
}
EOF

2.3 生成CA證書

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

[root@master etcd]# ls ca*pem  #查看
ca-key.pem  ca.pem

2.4 使用自簽 CA 簽發 Etcd HTTPS 證書創建證書申請文件：(修改對應的master和node的IP地址)

cat > server-csr.json << EOF
{
    "CN": "etcd",
    "hosts": [
    "192.168.206.128",
    "192.168.206.129",
    "192.168.206.130"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing"
        }
    ]
}
EOF

2.5 生成SERVER證書

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=www server-csr.json | cfssljson -bare server

[root@master etcd]# ls server*pem  #查看
server-key.pem  server.pem

3.部署etcd集群

3.1 下載

下載地址：https://github.com/etcd-io/etcd/releases
版本：3.4.14

以下在master 上操作，為簡化操作，完成后將master 生成的所有文件拷貝到node1 和node2。

3.2 創建工作目錄並解壓二進制包

mkdir /opt/etcd/{bin,cfg,ssl} -p
tar zxvf etcd-v3.4.14-linux-amd64.tar.gz
mv etcd-v3.4.14-linux-amd64/{etcd,etcdctl} /opt/etcd/bin/

3.3 創建etcd.conf

cat > /opt/etcd/cfg/etcd.conf << EOF
#[Member]
ETCD_NAME="etcd-1"
ETCD_DATA_DIR="/var/lib/etcd/default.etcd"
ETCD_LISTEN_PEER_URLS="https://192.168.206.128:2380"
ETCD_LISTEN_CLIENT_URLS="https://192.168.206.128:2379"
#[Clustering]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://192.168.206.128:2380"
ETCD_ADVERTISE_CLIENT_URLS="https://192.168.206.128:2379"
ETCD_INITIAL_CLUSTER="etcd-1=https://192.168.206.128:2380,etcd-2=https://192.168.206.129:2380,etcd-3=https://192.168.206.130:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_INITIAL_CLUSTER_STATE="new"
EOF

ETCD_NAME：節點名稱，集群中唯一
ETCD_DATA_DIR：數據目錄
ETCD_LISTEN_PEER_URLS：集群通信監聽地址
ETCD_LISTEN_CLIENT_URLS：客戶端訪問監聽地址
ETCD_INITIAL_ADVERTISE_PEER_URLS：集群通告地址
ETCD_ADVERTISE_CLIENT_URLS：客戶端通告地址
ETCD_INITIAL_CLUSTER：集群節點地址
ETCD_INITIAL_CLUSTER_TOKEN：集群 Token
ETCD_INITIAL_CLUSTER_STATE：加入集群的當前狀態，new 是新集群，existing 表示加入已有集群

3.4 創建etcd.service

cat > /usr/lib/systemd/system/etcd.service << EOF
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
[Service]
Type=notify
EnvironmentFile=/opt/etcd/cfg/etcd.conf
ExecStart=/opt/etcd/bin/etcd \
--cert-file=/opt/etcd/ssl/server.pem \
--key-file=/opt/etcd/ssl/server-key.pem \
--peer-cert-file=/opt/etcd/ssl/server.pem \
--peer-key-file=/opt/etcd/ssl/server-key.pem \
--trusted-ca-file=/opt/etcd/ssl/ca.pem \
--peer-trusted-ca-file=/opt/etcd/ssl/ca.pem \
--logger=zap
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

3.5 拷貝上一步生成的證書到配置路徑

cp ~/TLS/etcd/ca*pem ~/TLS/etcd/server*pem /opt/etcd/ssl/

3.6 將master 生成的所有文件拷貝到node1 和node2

scp -r /opt/etcd/ root@192.168.206.129:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.206.129:/usr/lib/systemd/system/

scp -r /opt/etcd/ root@192.168.206.130:/opt/
scp /usr/lib/systemd/system/etcd.service root@192.168.206.130:/usr/lib/systemd/system/

分別修改 etcd.conf 配置文件中的節點名稱和當前服務器 IP：(node1改為 etcd-2，node2 改為 etcd-3)

3.7 啟動並設置開機啟動

# 三台同時執行
systemctl daemon-reload
systemctl start etcd
systemctl enable etcd

查看狀態：

/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.206.128:2379,https://192.168.206.129:2379,https://192.168.206.130:2379" endpoint health
#可視化展示
/opt/etcd/bin/etcdctl --cacert=/opt/etcd/ssl/ca.pem --cert=/opt/etcd/ssl/server.pem --key=/opt/etcd/ssl/server-key.pem --endpoints="https://192.168.206.128:2379,https://192.168.206.129:2379,https://192.168.206.130:2379" endpoint status --write-out=table

4.安裝docker（all）

4.1 下載

下載地址：https://download.docker.com/linux/static/stable/x86_64/
版本：19.03.9

4.2 解壓及安裝

tar zxvf docker-19.03.9.tgz 
mv docker/* /usr/bin

4.3 systemd 管理 docker

cat > /usr/lib/systemd/system/docker.service << EOF
[Unit]
Description=Docker Application Container Engine
Documentation=https://docs.docker.com
After=network-online.target firewalld.service
Wants=network-online.target
[Service]
Type=notify
ExecStart=/usr/bin/dockerd
ExecReload=/bin/kill -s HUP $MAINPID
LimitNOFILE=infinity
LimitNPROC=infinity
LimitCORE=infinity
TimeoutStartSec=0
Delegate=yes
KillMode=process
Restart=on-failure
StartLimitBurst=3
StartLimitInterval=60s
[Install]
WantedBy=multi-user.target
EOF

4.4 配置阿里雲加速

mkdir /etc/docker
cat > /etc/docker/daemon.json << EOF
{
  "registry-mirrors": ["https://b9pmyelo.mirror.aliyuncs.com"]
}
EOF

4.5 啟動並設置開機啟動

systemctl daemon-reload
systemctl start docker
systemctl enable docker

4.6 查詢是否安裝成功

[root@master etcd]# docker -v
Docker version 19.03.9, build 9d988398e7

5.部署Master Node（master）

5.1 生成 kube-apiserver 證書自簽證書頒發機構（CA）

cd TLS/k8s

cat > ca-config.json << EOF
{
  "signing": {
    "default": {
      "expiry": "87600h"
    },
    "profiles": {
      "kubernetes": {
         "expiry": "87600h",
         "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ]
      }
    }
  }
}
EOF

cat > ca-csr.json << EOF
{
    "CN": "kubernetes",
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "Beijing",
            "ST": "Beijing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

5.2 生成CA證書

cfssl gencert -initca ca-csr.json | cfssljson -bare ca -

[root@master k8s]# ls ca*pem  #查看
ca-key.pem  ca.pem

5.3 使用自簽 CA 簽發 kube-apiserver HTTPS 證書創建證書申請文件

cat > server-csr.json << EOF
{
    "CN": "kubernetes",
    "hosts": [
      "10.0.0.1",
      "127.0.0.1",
      "192.168.206.128",
      "192.168.206.129",
      "192.168.206.130",
      "192.168.206.131",
      "kubernetes",
      "kubernetes.default",
      "kubernetes.default.svc",
      "kubernetes.default.svc.cluster",
      "kubernetes.default.svc.cluster.local"
    ],
    "key": {
        "algo": "rsa",
        "size": 2048
    },
    "names": [
        {
            "C": "CN",
            "L": "BeiJing",
            "ST": "BeiJing",
            "O": "k8s",
            "OU": "System"
        }
    ]
}
EOF

注：192.168.206.131為預留出的IP。

5.4 生成SERVER證書

cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes server-csr.json | cfssljson -bare server

[root@master k8s]# ls server*pem  #查看
server-key.pem  server.pem

5.5 下載k8s安裝包並解壓

下載地址：https://github.com/kubernetes/kubernetes/blob/master/CHANGELOG/CHANGELOG-1.18.md#server-binaries
版本：1.18.20 (壓縮包名：kubernetes-server-linux-amd64.tar.gz)

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kube-apiserver kube-scheduler kube-controller-manager /opt/kubernetes/bin
cp kubectl /usr/bin/

5.6 部署kube-apiserver

cat > /opt/kubernetes/cfg/kube-apiserver.conf << EOF
KUBE_APISERVER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--etcd-servers=https://192.168.206.128:2379,https://192.168.206.129:2379,https://192.168.206.130:2379 \\
--bind-address=192.168.206.128 \\
--secure-port=6443 \\
--advertise-address=192.168.206.128 \\
--allow-privileged=true \\
--service-cluster-ip-range=10.0.0.0/24 \\
--enable-admission-plugins=NamespaceLifecycle,LimitRanger,ServiceAccount,ResourceQuota,NodeRestriction \\
--authorization-mode=RBAC,Node \\
--enable-bootstrap-token-auth=true \\
--token-auth-file=/opt/kubernetes/cfg/token.csv \\
--service-node-port-range=30000-32767 \\
--kubelet-client-certificate=/opt/kubernetes/ssl/server.pem \\
--kubelet-client-key=/opt/kubernetes/ssl/server-key.pem \\
--tls-cert-file=/opt/kubernetes/ssl/server.pem  \\
--tls-private-key-file=/opt/kubernetes/ssl/server-key.pem \\
--client-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--etcd-cafile=/opt/etcd/ssl/ca.pem \\
--etcd-certfile=/opt/etcd/ssl/server.pem \\
--etcd-keyfile=/opt/etcd/ssl/server-key.pem \\
--audit-log-maxage=30 \\
--audit-log-maxbackup=3 \\
--audit-log-maxsize=100 \\
--audit-log-path=/opt/kubernetes/logs/k8s-audit.log"
EOF

上面兩個\ \ 第一個是轉義符，第二個是換行符，使用轉義符是為了使用 EOF 保留換行符。

–logtostderr：啟用日志
—v：日志等級
–log-dir：日志目錄
–etcd-servers：etcd 集群地址
–bind-address：監聽地址
–secure-port：https 安全端口
–advertise-address：集群通告地址
–allow-privileged：啟用授權
–service-cluster-ip-range：Service 虛擬 IP 地址段
–enable-admission-plugins：准入控制模塊
–authorization-mode：認證授權，啟用 RBAC 授權和節點自管理
–enable-bootstrap-token-auth：啟用 TLS bootstrap 機制
–token-auth-file：bootstrap token 文件
–service-node-port-range：Service nodeport 類型默認分配端口范圍
–kubelet-client-xxx：apiserver 訪問 kubelet 客戶端證書
–tls-xxx-file：apiserver https 證書
–etcd-xxxfile：連接 Etcd 集群證書
–audit-log-xxx：審計日志

5.7 把生成的證書拷貝到配置文件中的路徑

cp ~/TLS/k8s/ca*pem ~/TLS/k8s/server*pem /opt/kubernetes/ssl/

5.8 創建上述配置文件中 token 文件

cat > /opt/kubernetes/cfg/token.csv << EOF
c47ffb939f5ca36231d9e3121a252940,kubelet-bootstrap,10001,"system:node-bootstrapper"
EOF

格式：token，用戶名，UID，用戶組 token 也可自行生成替換：

head -c 16 /dev/urandom | od -An -t x | tr -d ' '

5.9 systemd 管理 apiserver

cat > /usr/lib/systemd/system/kube-apiserver.service << EOF
[Unit]
Description=Kubernetes API Server
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-apiserver.conf
ExecStart=/opt/kubernetes/bin/kube-apiserver \$KUBE_APISERVER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

啟動並設置開機啟動

systemctl daemon-reload
systemctl start kube-apiserver
systemctl enable kube-apiserver

5.10 授權 kubelet-bootstrap 用戶允許請求證書

kubectl create clusterrolebinding kubelet-bootstrap \
--clusterrole=system:node-bootstrapper \
--user=kubelet-bootstrap

5.11 部署 kube-controller-manager

cat > /opt/kubernetes/cfg/kube-controller-manager.conf << EOF
KUBE_CONTROLLER_MANAGER_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--leader-elect=true \\
--master=127.0.0.1:8080 \\
--bind-address=127.0.0.1 \\
--allocate-node-cidrs=true \\
--cluster-cidr=10.244.0.0/16 \\
--service-cluster-ip-range=10.0.0.0/24 \\
--cluster-signing-cert-file=/opt/kubernetes/ssl/ca.pem \\
--cluster-signing-key-file=/opt/kubernetes/ssl/ca-key.pem  \\
--root-ca-file=/opt/kubernetes/ssl/ca.pem \\
--service-account-private-key-file=/opt/kubernetes/ssl/ca-key.pem \\
--experimental-cluster-signing-duration=87600h0m0s"
EOF

–master：通過本地非安全本地端口 8080 連接 apiserver
–leader-elect：當該組件啟動多個時，自動選舉（HA）
–cluster-signing-cert-file/–cluster-signing-key-file：自動為 kubelet 頒發證書的 CA，與 apiserver 保持一致

5.12 systemd 管理 controller-manager

cat > /usr/lib/systemd/system/kube-controller-manager.service << EOF
[Unit]
Description=Kubernetes Controller Manager
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-controller-manager.conf
ExecStart=/opt/kubernetes/bin/kube-controller-manager \$KUBE_CONTROLLER_MANAGER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

啟動並設置開機啟動

systemctl daemon-reload
systemctl start kube-controller-manager
systemctl enable kube-controller-manager

5.13 部署 kube-scheduler

cat > /opt/kubernetes/cfg/kube-scheduler.conf << EOF
KUBE_SCHEDULER_OPTS="--logtostderr=false \
--v=2 \
--log-dir=/opt/kubernetes/logs \
--leader-elect \
--master=127.0.0.1:8080 \
--bind-address=127.0.0.1"
EOF

–master：通過本地非安全本地端口 8080 連接 apiserver

–leader-elect：當該組件啟動多個時，自動選舉（HA）

cat > /usr/lib/systemd/system/kube-scheduler.service << EOF
[Unit]
Description=Kubernetes Scheduler
Documentation=https://github.com/kubernetes/kubernetes
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-scheduler.conf
ExecStart=/opt/kubernetes/bin/kube-scheduler \$KUBE_SCHEDULER_OPTS
Restart=on-failure
[Install]
WantedBy=multi-user.target
EOF

啟動並設置開機啟動

systemctl daemon-reload
systemctl start kube-scheduler
systemctl enable kube-scheduler

5.14 查看集群狀態

kubectl get cs

6.部署Worker Node（兩個node同步執行）

6.1k8s安裝包解壓安裝

mkdir -p /opt/kubernetes/{bin,cfg,ssl,logs}
tar zxvf kubernetes-server-linux-amd64.tar.gz
cd kubernetes/server/bin
cp kubelet kube-proxy /opt/kubernetes/bin
cp kubectl /usr/bin/

6.2 配置kubelet

cat > /opt/kubernetes/cfg/kubelet.conf << EOF
KUBELET_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--hostname-override=m1 \\
--network-plugin=cni \\
--kubeconfig=/opt/kubernetes/cfg/kubelet.kubeconfig \\
--bootstrap-kubeconfig=/opt/kubernetes/cfg/bootstrap.kubeconfig \\
--config=/opt/kubernetes/cfg/kubelet-config.yml \\
--cert-dir=/opt/kubernetes/ssl \\
--pod-infra-container-image=lizhenliang/pause-amd64:3.0"
EOF

–hostname-override：顯示名稱，集群中唯一
–network-plugin：啟用CNI
–kubeconfig：空路徑，會自動生成，后面用於連接apiserver
–bootstrap-kubeconfig：首次啟動向apiserver申請證書
–config：配置參數文件
–cert-dir：kubelet證書生成目錄
–pod-infra-container-image：管理Pod網絡容器的鏡像

cat > /opt/kubernetes/cfg/kubelet-config.yml << EOF
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
address: 0.0.0.0
port: 10250
readOnlyPort: 10255
cgroupDriver: cgroupfs
clusterDNS:
- 10.0.0.2
clusterDomain: cluster.local 
failSwapOn: false
authentication:
  anonymous:
    enabled: false
  webhook:
    cacheTTL: 2m0s
    enabled: true
  x509:
    clientCAFile: /opt/kubernetes/ssl/ca.pem 
authorization:
  mode: Webhook
  webhook:
    cacheAuthorizedTTL: 5m0s
    cacheUnauthorizedTTL: 30s
evictionHard:
  imagefs.available: 15%
  memory.available: 100Mi
  nodefs.available: 10%
  nodefs.inodesFree: 5%
maxOpenFiles: 1000000
maxPods: 110
EOF

6.3 將master一些配置文件拷貝到node節點上

scp -r /opt/kubernetes/ssl root@192.168.206.129:/opt/kubernetes
scp -r /opt/kubernetes/ssl root@192.168.206.130:/opt/kubernetes

6.4 生成bootstrap.kubeconfig文件

KUBE_APISERVER="https://192.168.206.128:6443"  # apiserver IP:PORT
TOKEN="c47ffb939f5ca36231d9e3121a252940"  # 與token.csv里保持一致

上面兩個變量需要根據自己情況設置，賦到腳本對應位置執行：

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-credentials "kubelet-bootstrap" \
  --token=${TOKEN} \
  --kubeconfig=bootstrap.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user="kubelet-bootstrap" \
  --kubeconfig=bootstrap.kubeconfig
kubectl config use-context default --kubeconfig=bootstrap.kubeconfig

mv bootstrap.kubeconfig /opt/kubernetes/cfg

6.5 systemd管理kubelet

cat > /usr/lib/systemd/system/kubelet.service << EOF
[Unit]
Description=Kubernetes Kubelet
After=docker.service
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kubelet.conf
ExecStart=/opt/kubernetes/bin/kubelet \$KUBELET_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

啟動並設置開機啟動

systemctl daemon-reload
systemctl start kubelet
systemctl enable kubelet

6.7 批准kubelet證書申請並加入集群（master執行）

# 查看kubelet證書請求
kubectl get csr
NAME                                                   AGE    SIGNERNAME                                    REQUESTOR           CONDITION
node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A   6m3s   kubernetes.io/kube-apiserver-client-kubelet   kubelet-bootstrap   Pending
node-csr-***
# 批准申請
kubectl certificate approve node-csr-uCEGPOIiDdlLODKts8J658HrFq9CZ--K6M4G7bjhk8A
kubectl certificate approve node-csr-***
# 查看節點
kubectl get node

由於網絡插件還沒有部署，節點會沒有准備就緒 NotReady。

6.8 部署kube-proxy

cat > /opt/kubernetes/cfg/kube-proxy.conf << EOF
KUBE_PROXY_OPTS="--logtostderr=false \\
--v=2 \\
--log-dir=/opt/kubernetes/logs \\
--config=/opt/kubernetes/cfg/kube-proxy-config.yml"
EOF

cat > /opt/kubernetes/cfg/kube-proxy-config.yml << EOF
kind: KubeProxyConfiguration
apiVersion: kubeproxy.config.k8s.io/v1alpha1
bindAddress: 0.0.0.0
metricsBindAddress: 0.0.0.0:10249
clientConnection:
  kubeconfig: /opt/kubernetes/cfg/kube-proxy.kubeconfig
hostnameOverride: node1
clusterCIDR: 10.0.0.0/24
EOF

hostnameOverride設置對應node機器的hostname。

6.9 生成kube-proxy.kubeconfig文件（master生成傳到node）

# 切換工作目錄
cd TLS/k8s

# 創建證書請求文件
cat > kube-proxy-csr.json << EOF
{
  "CN": "system:kube-proxy",
  "hosts": [],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "L": "BeiJing",
      "ST": "BeiJing",
      "O": "k8s",
      "OU": "System"
    }
  ]
}
EOF

# 生成證書
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes kube-proxy-csr.json | cfssljson -bare kube-proxy

[root@master k8s]# ls kube-proxy*pem
kube-proxy-key.pem  kube-proxy.pem

將master生成的證書傳輸到node

scp /root/TLS/k8s/kube-proxy*pem root@192.168.206.129:/opt/kubernetes/ssl
scp /root/TLS/k8s/kube-proxy*pem root@192.168.206.130:/opt/kubernetes/ssl

6.10 生成kubeconfig文件

KUBE_APISERVER="https://192.168.206.128:6443"  # apiserver IP:PORT

kubectl config set-cluster kubernetes \
  --certificate-authority=/opt/kubernetes/ssl/ca.pem \
  --embed-certs=true \
  --server=${KUBE_APISERVER} \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-credentials kube-proxy \
  --client-certificate=/opt/kubernetes/ssl/kube-proxy.pem \
  --client-key=/opt/kubernetes/ssl/kube-proxy-key.pem \
  --embed-certs=true \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config set-context default \
  --cluster=kubernetes \
  --user=kube-proxy \
  --kubeconfig=kube-proxy.kubeconfig
kubectl config use-context default --kubeconfig=kube-proxy.kubeconfig

6.11 systemd管理kube-proxy

cat > /usr/lib/systemd/system/kube-proxy.service << EOF
[Unit]
Description=Kubernetes Proxy
After=network.target
[Service]
EnvironmentFile=/opt/kubernetes/cfg/kube-proxy.conf
ExecStart=/opt/kubernetes/bin/kube-proxy \$KUBE_PROXY_OPTS
Restart=on-failure
LimitNOFILE=65536
[Install]
WantedBy=multi-user.target
EOF

啟動並設置開機啟動：

systemctl daemon-reload
systemctl start kube-proxy
systemctl enable kube-proxy

7.部署CNI網絡

下載安裝

下載地址：https://github.com/containernetworking/plugins/releases
版本：v0.8.6（安裝包名：cni-plugins-linux-amd64-v0.8.6.tgz）

node節點操作：

mkdir /opt/cni/bin
tar zxvf cni-plugins-linux-amd64-v0.8.6.tgz -C /opt/cni/bin

master節點操作：

wget --no-check-certificate https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml

參考：

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 k8s：二進制方式搭建k8s集群二進制安裝 k8s 1.15.6 集群 k8s二進制安裝 k8s之集群部署（二進制部署）二進制部署k8s集群（5）：部署kubelet 5.基於二進制部署kubernetes(k8s)集群二進制搭建kubernetes多master集群【三、配置k8s master及高可用】二進制方式部署K8S（kubernetes)集群（測試、學習環境）-單主雙從二進制安裝部署k8s高可用集群V1.20 二進制部署k8s集群（8）：安裝容器網絡插件Flannel

二進制方式安裝搭建k8s集群

1.環境配置

1.1 修改主機名

1.2 關閉防火牆（all）

1.3 關閉selinux（all）

1.4 關閉swap（all）

1.5 將橋接的IPv4流量傳遞到iptables的鏈（all）

1.6 添加主機名與IP對應的關系 ( master )

2.准備 cfssl 證書生成工具 ( master )

2.1 生成 Etcd 證書 （1）自簽證書頒發機構（CA） 創建工作目錄

2.2 自簽CA

2.3 生成CA證書

2.4 使用自簽 CA 簽發 Etcd HTTPS 證書 創建證書申請文件：(修改對應的master和node的IP地址)

2.5 生成SERVER證書

3.部署etcd集群

3.1 下載

3.2 創建工作目錄並解壓二進制包

3.3 創建etcd.conf

3.4 創建etcd.service

3.5 拷貝上一步生成的證書到配置路徑

3.6 將master 生成的所有文件拷貝到node1 和node2

3.7 啟動並設置開機啟動

4.安裝docker（all）

4.1 下載

4.2 解壓及安裝

4.3 systemd 管理 docker

4.4 配置阿里雲加速

4.5 啟動並設置開機啟動

4.6 查詢是否安裝成功

5.部署Master Node（master）

5.1 生成 kube-apiserver 證書 自簽證書頒發機構（CA）

5.2 生成CA證書

5.3 使用自簽 CA 簽發 kube-apiserver HTTPS 證書 創建證書申請文件

5.4 生成SERVER證書

5.5 下載k8s安裝包並解壓

5.6 部署kube-apiserver

5.7 把生成的證書拷貝到配置文件中的路徑

5.8 創建上述配置文件中 token 文件

5.9 systemd 管理 apiserver

5.10 授權 kubelet-bootstrap 用戶允許請求證書

5.11 部署 kube-controller-manager

5.12 systemd 管理 controller-manager

5.13 部署 kube-scheduler

5.14 查看集群狀態

6.部署Worker Node（兩個node同步執行）

6.1k8s安裝包解壓安裝

6.2 配置kubelet

6.3 將master一些配置文件拷貝到node節點上

6.4 生成bootstrap.kubeconfig文件

6.5 systemd管理kubelet

6.7 批准kubelet證書申請並加入集群（master執行）

6.8 部署kube-proxy

6.9 生成kube-proxy.kubeconfig文件（master生成傳到node）

6.10 生成kubeconfig文件

6.11 systemd管理kube-proxy

7.部署CNI網絡

免責聲明！

2.1 生成 Etcd 證書（1）自簽證書頒發機構（CA）創建工作目錄

2.4 使用自簽 CA 簽發 Etcd HTTPS 證書創建證書申請文件：(修改對應的master和node的IP地址)

5.1 生成 kube-apiserver 證書自簽證書頒發機構（CA）

5.3 使用自簽 CA 簽發 kube-apiserver HTTPS 證書創建證書申請文件