etcd+https部署

1. 關閉防火牆
2. 關閉selinux

下載所需的包(cfssl,生成證書工具)

mkdir /usr/local/src/etcd/ 
cd /usr/local/src/etcd/
wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 
wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64
chmod +x cfssl*

#拷貝命令
cp -v cfssl_linux-amd64 /usr/local/bin/cfssl
cp -v cfssljson_linux-amd64 /usr/local/bin/cfssljson
cp -v cfssl-certinfo_linux-amd64 /usr/local/bin/cfssl-certinfo
ls /usr/local/bin/cfssl*

使用CFSSL創建CA證書以及etcd的TLS認證證書

mkdir /usr/local/src/etcd/ssl
cd /usr/local/src/etcd/ssl

#創建 CA 配置文件（ca-config.json）
vim ca-config.json
{
  "signing": {
    "default": {
      "expiry": "876000h"
    },
    "profiles": {
      "etcd": {
        "usages": [
            "signing",
            "key encipherment",
            "server auth",
            "client auth"
        ],
        "expiry": "876000h"
      }
    }
  }
}

"字段說明"
"ca-config.json"：可以定義多個 profiles，分別指定不同的過期時間、使用場景等參數；后續在簽名證書時使用某個 profile；
"signing"：表示該證書可用於簽名其它證書；生成的 ca.pem 證書中 CA=TRUE；
"server auth"：表示client可以用該 CA 對server提供的證書進行驗證；
"client auth"：表示server可以用該CA對client提供的證書進行驗證；

#創建 CA 證書簽名請求（ca-csr.json）
vim ca-csr.json
{
  "CN": "etcd",
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

"CN"：Common Name，etcd 從證書中提取該字段作為請求的用戶名 (User Name)；瀏覽器使用該字段驗證網站是否合法；
"O"：Organization，etcd 從證書中提取該字段作為請求用戶所屬的組 (Group)；
這兩個參數在后面的kubernetes啟用RBAC模式中很重要，因為需要設置kubelet、admin等角色權限，那么在配置證書的時候就必須配置對了，具體后面在部署kubernetes的時候會進行講解。
"在etcd這兩個參數沒太大的重要意義，跟着配置就好。"

#生成 CA 證書和私鑰
cfssl gencert -initca ca-csr.json | cfssljson -bare ca


#創建etcd的TLS認證證書
#創建 etcd證書簽名請求（etcd-csr.json）
vim etcd-csr.json
{
  "CN": "etcd",
  "hosts": [
    "127.0.0.1",
    "192.168.48.12"
  ],
  "key": {
    "algo": "rsa",
    "size": 2048
  },
  "names": [
    {
      "C": "CN",
      "ST": "shenzhen",
      "L": "shenzhen",
      "O": "etcd",
      "OU": "System"
    }
  ]
}

如果 hosts 字段不為空則需要指定授權使用該證書的 IP 或域名列表，由於該證書后續被 etcd 集群使用，所以填寫IP即可。
因為本次部署etcd是單台，那么則需要填寫單台的IP地址即可。
       
#生成 etcd證書和私鑰 
cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=etcd etcd-csr.json | cfssljson -bare etcd

#將TLS 認證文件拷貝至證書目錄下
mkdir -p /etc/etcd/etcdSSL
cp * /etc/etcd/etcdSSL

安裝etcd服務

yum install -y etcd

#配置 etcd 的 service文件（/usr/lib/systemd/system）
vim /usr/lib/systemd/system/etcd.service 
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd/
EnvironmentFile=-/etc/etcd/etcd.conf
# set GOMAXPROCS to number of processors
ExecStart=/usr/bin/etcd \
  --name ${ETCD_NAME} \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \
  --initial-cluster-token ${ETCD_INITIAL_CLUSTER_TOKEN} \
  --initial-cluster etcd1=https://172.16.1.168:2380 \
  --initial-cluster-state new \
  --data-dir=${ETCD_DATA_DIR}

Restart=on-failure
LimitNOFILE=65536

[Install]
WantedBy=multi-user.target

參數說明：
1、指定 etcd 的工作目錄為 /var/lib/etcd，數據目錄為 /var/lib/etcd，需在啟動服務前創建這兩個目錄；
在配置中的命令是這條：
WorkingDirectory=/var/lib/etcd/

2、為了保證通信安全，需要指定 etcd 的公私鑰(cert-file和key-file)、Peers 通信的公私鑰和 CA 證書(peer-cert-file、peer-key-file、peer-trusted-ca-file)、客戶端的CA證書（trusted-ca-file）；
在配置中添加etcd證書的命令是以下：
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --peer-cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --peer-key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  --trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \
  --peer-trusted-ca-file=/etc/etcd/etcdSSL/ca.pem \

3、配置etcd的endpoint：
  --initial-cluster infra1=https://172.16.1.168:2380 \

4、配置etcd的監聽服務集群：
  --initial-advertise-peer-urls ${ETCD_INITIAL_ADVERTISE_PEER_URLS} \
  --listen-peer-urls ${ETCD_LISTEN_PEER_URLS} \
  --listen-client-urls ${ETCD_LISTEN_CLIENT_URLS},http://127.0.0.1:2379 \
  --advertise-client-urls ${ETCD_ADVERTISE_CLIENT_URLS} \

5、配置etcd創建的集群為新集群，則定義集群狀態為new
   --initial-cluster-state 值為 new

6、定義etcd節點的名稱，該名稱等下從配置文件中獲取：
  --name ${ETCD_NAME} \ 
  其中配置文件：EnvironmentFile=-/etc/etcd/etcd.conf

#etcd的配置文件（/etc/etcd/etcd.conf）
vim /etc/etcd/etcd.conf 
#[member]
ETCD_NAME=etcd1
ETCD_DATA_DIR="/var/lib/etcd"
ETCD_LISTEN_PEER_URLS="https://172.16.1.168:2380"
ETCD_LISTEN_CLIENT_URLS="https://172.16.1.168:2379"

#[cluster]
ETCD_INITIAL_ADVERTISE_PEER_URLS="https://172.16.1.168:2380"
ETCD_INITIAL_CLUSTER_TOKEN="etcd-cluster"
ETCD_ADVERTISE_CLIENT_URLS="https://172.16.1.168:2379"

#參數說明
ETCD_NAME 節點名稱

ETCD_DATA_DIR 數據目錄

ETCD_LISTEN_PEER_URLS 集群通信監聽地址

ETCD_LISTEN_CLIENT_URLS 客戶端訪問監聽地址

ETCD_INITIAL_ADVERTISE_PEER_URLS 集群通告地址

ETCD_ADVERTISE_CLIENT_URLS 客戶端通告地址

ETCD_INITIAL_CLUSTER 集群節點地址

ETCD_INITIAL_CLUSTER_TOKEN 集群Token

ETCD_INITIAL_CLUSTER_STATE 加入集群的當前狀態，new是新集群，existing表示加入已有集群

#這是172.16.1.168節點的配置，如果配置其他etcd節點只要將上面的IP地址改成相應節點的IP地址即可。

#啟動 etcd 服務
systemctl daemon-reload
systemctl start etcd
systemctl status etcd

#驗證服務
etcdctl \
  --ca-file=/etc/etcd/etcdSSL/ca.pem \
  --cert-file=/etc/etcd/etcdSSL/etcd.pem \
  --key-file=/etc/etcd/etcdSSL/etcd-key.pem \
  cluster-health