ETCD數據的備份與恢復
一、單機備份
說明：執行etcd備份數據的恢復的機器必須和原先etcd所在機器一致
1.1、單機備份
# 使用ETCDCTL API 3
[root@minio1 ~]# export ETCDCTL_API=3
# 寫入一條數據
[root@master01 ~]# curl --cacert /etc/kubernetes/pki/etcd/ca.crt --cert /etc/kubernetes/pki/etcd/healthcheck-client.crt --key /etc/kubernetes/pki/etcd/healthcheck-client.key https://192.168.1.70:2379/metrics -k
[root@minio1 app]# ETCDCTL_API=3 etcdctl --endpoints="https://192.168.1.106:2379" --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem put /name/1 tzh
OK
# 讀取數據
[root@minio1 app]# ETCDCTL_API=3 etcdctl --endpoints="https://192.168.1.106:2379" --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem get /name/1
/name/1
tzh
# 備份數據
[root@minio1 app]# etcdctl --endpoints="https://192.168.1.106:2379" --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem snapshot save `date +%Y-%m-%d`-etcd_back.db
1.2、單機數據恢復
# 停止etcd服務
[root@minio1 ~]# systemctl stop etcd
# 使用ETCDCTL API 3
[root@SZD-L0105331 ~]# export ETCDCTL_API=3
# 修改etcd啟動參數--data-dir指向上一步的數據恢復目錄，一般在/etc/etcd/etcd文件中
# 注意--data-dir參數，恢復以后修改data-dir,再次啟動etcd
[root@minio1 ~]# grep data-dir /etc/etcd/etcd.config.yml
data-dir: /var/lib/etcd
[root@minio1 ~]# etcdctl snapshot restore 2021-12-07-etcd_back.db --name=minio1 --endpoints="https://192.168.1.106:2379" --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem --initial-cluster=minio1=https://192.168.1.106:2380 --initial-advertise-peer-urls=https://192.168.1.106:2380 --initial-cluster-token=etcd-cluster-0 --data-dir=/var/lib/etcd1
2021-12-07-etcd_back.db*********份文件名
--name**************************主機名
--endpoints*********************
--cert**************************
--key***************************
--cacert************************
--initial-cluster***************本member側使用。描述集群中所有節點的信息，本member根據此信息去聯系其他member
--initial-advertise-peer-urls***其他member使用，其他member通過該地址與本member交互信息。一定要保證從其他member能可訪問該地址。靜態配置方式下，該參數的value一定要同時在--initial-cluster參數中存在
--initial-cluster-token*********用於區分不同集群。本地如有多個集群要設為不同
--data-dir**********************該目錄下保存了memberID，clusterID和數據等信息
# 啟動etcd
[root@minio1 etcd]# systemctl start etcd
# 讀取數據
[root@minio1 app]# ETCDCTL_API=3 etcdctl --endpoints="https://192.168.1.106:2379" --cert=/etc/etcd/ssl/etcd.pem --key=/etc/etcd/ssl/etcd-key.pem --cacert=/etc/kubernetes/pki/etcd/etcd-ca.pem get /name/1
/name/1
tzh
二、集群模式下的數據備份與恢復
注意：ETCD 不同的版本的 etcdctl 命令不一樣，但大致差不多，本文備份使用 napshot save , 每次備份一個節點就行。
命令備份（k8s-master1 機器上備份）：
$ ETCDCTL_API=3 etcdctl --cacert=/opt/kubernetes/ssl/ca.pem --cert=/opt/kubernetes/ssl/server.pem --key=/opt/kubernetes/ssl/server-key.pem --endpoints=https://192.168.1.36:2379 snapshot save /data/etcd_backup_dir/etcd-snapshot-`date +%Y%m%d`.db
備份腳本（k8s-master1 機器上備份）：
#!/usr/bin/env bash
date;
CACERT="/opt/kubernetes/ssl/ca.pem"
CERT="/opt/kubernetes/ssl/server.pem"
EKY="/opt/kubernetes/ssl/server-key.pem"
ENDPOINTS="192.168.1.36:2379"
ETCDCTL_API=3 etcdctl \
--cacert="${CACERT}" --cert="${CERT}" --key="${EKY}" \
--endpoints=${ENDPOINTS} \
snapshot save /data/etcd_backup_dir/etcd-snapshot-`date +%Y%m%d`.db
# 備份保留30天
find /data/etcd_backup_dir/ -name *.db -mtime +30 -exec rm -f {} \;
恢復
准備工作
- 停止所有 Master 上
kube-apiserver服務
$ systemctl stop kube-apiserver
# 確認 kube-apiserver 服務是否停止
$ ps -ef | grep kube-apiserver
- 停止集群中所有 ETCD 服務
$ systemctl stop etcd
- 移除所有 ETCD 存儲目錄下數據
$ mv /var/lib/etcd/default.etcd /var/lib/etcd/default.etcd.bak
- 拷貝 ETCD 備份快照
# 從 k8s-master1 機器上拷貝備份
$ scp /data/etcd_backup_dir/etcd-snapshot-20191222.db root@k8s-master2:/data/etcd_backup_dir/
$ scp /data/etcd_backup_dir/etcd-snapshot-20191222.db root@k8s-master3:/data/etcd_backup_dir/
恢復備份
# k8s-master1 機器上操作
$ ETCDCTL_API=3 etcdctl snapshot restore /data/etcd_backup_dir/etcd-snapshot-20191222.db \
--name etcd-0 \
--initial-cluster "etcd-0=https://192.168.1.36:2380,etcd-1=https://192.168.1.37:2380,etcd-2=https://192.168.1.38:2380" \
--initial-cluster-token etcd-cluster \
--initial-advertise-peer-urls https://192.168.1.36:2380 \
--data-dir=/var/lib/etcd/default.etcd
# k8s-master2 機器上操作
$ ETCDCTL_API=3 etcdctl snapshot restore /data/etcd_backup_dir/etcd-snapshot-20191222.db \
--name etcd-1 \
--initial-cluster "etcd-0=https://192.168.1.36:2380,etcd-1=https://192.168.1.37:2380,etcd-2=https://192.168.1.38:2380" \
--initial-cluster-token etcd-cluster \
--initial-advertise-peer-urls https://192.168.1.37:2380 \
--data-dir=/var/lib/etcd/default.etcd
# k8s-master3 機器上操作
$ ETCDCTL_API=3 etcdctl snapshot restore /data/etcd_backup_dir/etcd-snapshot-20191222.db \
--name etcd-2 \
--initial-cluster "etcd-0=https://192.168.1.36:2380,etcd-1=https://192.168.1.37:2380,etcd-2=https://192.168.1.38:2380" \
--initial-cluster-token etcd-cluster \
--initial-advertise-peer-urls https://192.168.1.38:2380 \
--data-dir=/var/lib/etcd/default.etcd
上面三台 ETCD 都恢復完成后，依次登陸三台機器啟動 ETCD
$ systemctl start etcd
三台 ETCD 啟動完成，檢查 ETCD 集群狀態
$ ETCDCTL_API=3 etcdctl --cacert=/opt/kubernetes/ssl/ca.pem --cert=/opt/kubernetes/ssl/server.pem --key=/opt/kubernetes/ssl/server-key.pem --endpoints=https://192.168.1.36:2379,https://192.168.1.37:2379,https://192.168.1.38:2379 endpoint health
三台 ETCD 全部健康，分別到每台 Master 啟動 kube-apiserver
$ systemctl start kube-apiserver
檢查 Kubernetes 集群是否恢復正常
$ kubectl get cs
總結：
Kubernetes 集群備份主要是備份 ETCD 集群。而恢復時，主要考慮恢復整個順序：
停止kube-apiserver --> 停止ETCD --> 恢復數據 --> 啟動ETCD --> 啟動kube-apiserve
注意：備份ETCD集群時，只需要備份一個ETCD就行，恢復時，拿同一份備份數據恢復
原文鏈接：https://zhuanlan.zhihu.com/p/101523337