etcd

etcd介紹

etcd是使用Go語言開發的一個開源的、高可用的分布式key-value存儲系統，可以用於配置共享和服務的注冊和發現。

類似項目有zookeeper和consul。

etcd具有以下特點：

完全復制：集群中的每個節點都可以使用完整的存檔
高可用性：Etcd可用於避免硬件的單點故障或網絡問題
一致性：每次讀取都會返回跨多主機的最新寫入
簡單：包括一個定義良好、面向用戶的API（gRPC）
安全：實現了帶有可選的客戶端證書身份驗證的自動化TLS
快速：每秒10000次寫入的基准速度
可靠：使用Raft算法實現了強一致、高可用的服務存儲目錄

etcd應用場景

服務發現

服務發現要解決的也是分布式系統中最常見的問題之一，即在同一個分布式集群中的進程或服務，要如何才能找到對方並建立連接。本質上來說，服務發現就是想要了解集群中是否有進程在監聽 udp 或 tcp 端口，並且通過名字就可以查找和連接。

配置中心

將一些配置信息放到 etcd 上進行集中管理。

這類場景的使用方式通常是這樣：應用在啟動的時候主動從 etcd 獲取一次配置信息，同時，在 etcd 節點上注冊一個 Watcher 並等待，以后每次配置有更新的時候，etcd 都會實時通知訂閱者，以此達到獲取最新配置信息的目的。

分布式鎖

因為 etcd 使用 Raft 算法保持了數據的強一致性，某次操作存儲到集群中的值必然是全局一致的，所以很容易實現分布式鎖。鎖服務有兩種使用方式，一是保持獨占，二是控制時序。

保持獨占即所有獲取鎖的用戶最終只有一個可以得到。etcd 為此提供了一套實現分布式鎖原子操作 CAS（CompareAndSwap）的 API。通過設置prevExist值，可以保證在多個節點同時去創建某個目錄時，只有一個成功。而創建成功的用戶就可以認為是獲得了鎖。
控制時序，即所有想要獲得鎖的用戶都會被安排執行，但是獲得鎖的順序也是全局唯一的，同時決定了執行順序。etcd 為此也提供了一套 API（自動創建有序鍵），對一個目錄建值時指定為POST動作，這樣 etcd 會自動在目錄下生成一個當前最大的值為鍵，存儲這個新的值（客戶端編號）。同時還可以使用 API 按順序列出所有當前目錄下的鍵值。此時這些鍵的值就是客戶端的時序，而這些鍵中存儲的值可以是代表客戶端的編號。

為什么用 etcd 而不用ZooKeeper？

etcd 實現的這些功能，ZooKeeper都能實現。那么為什么要用 etcd 而非直接使用ZooKeeper呢？

為什么不選擇ZooKeeper？

部署維護復雜，其使用的Paxos強一致性算法復雜難懂。官方只提供了Java和C兩種語言的接口。
使用Java編寫引入大量的依賴。運維人員維護起來比較麻煩。
最近幾年發展緩慢，不如etcd和consul等后起之秀。

為什么選擇etcd？

簡單。使用 Go 語言編寫部署簡單；支持HTTP/JSON API,使用簡單；使用 Raft 算法保證強一致性讓用戶易於理解。
etcd 默認數據一更新就進行持久化。
etcd 支持 SSL 客戶端安全認證。

最后，etcd 作為一個年輕的項目，正在高速迭代和開發中，這既是一個優點，也是一個缺點。優點是它的未來具有無限的可能性，缺點是無法得到大項目長時間使用的檢驗。然而，目前 CoreOS、Kubernetes和CloudFoundry等知名項目均在生產環境中使用了etcd，所以總的來說，etcd值得你去嘗試。

etcd集群

etcd 作為一個高可用鍵值存儲系統，天生就是為集群化而設計的。由於 Raft 算法在做決策時需要多數節點的投票，所以 etcd 一般部署集群推薦奇數個節點，推薦的數量為 3、5 或者 7 個節點構成一個集群。

搭建一個3節點集群示例：

在每個etcd節點指定集群成員，為了區分不同的集群最好同時配置一個獨一無二的token。

下面是提前定義好的集群信息，其中n1、n2和n3表示3個不同的etcd節點。

TOKEN=token-01
CLUSTER_STATE=new
CLUSTER=n1=http://10.240.0.17:2380,n2=http://10.240.0.18:2380,n3=http://10.240.0.19:2380

在n1這台機器上執行以下命令來啟動etcd：

etcd --data-dir=data.etcd --name n1 \
	--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
	--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n2這台機器上執行以下命令啟動etcd：

etcd --data-dir=data.etcd --name n2 \
	--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
	--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

在n3這台機器上執行以下命令啟動etcd：

etcd --data-dir=data.etcd --name n3 \
	--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
	--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http://10.240.0.19:2379 \
	--initial-cluster ${CLUSTER} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

etcd 官網提供了一個可以公網訪問的 etcd 存儲地址。你可以通過如下命令得到 etcd 服務的目錄，並把它作為-discovery參數使用。

curl https://discovery.etcd.io/new?size=3
https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92

# grab this token
TOKEN=token-01
CLUSTER_STATE=new
DISCOVERY=https://discovery.etcd.io/a81b5818e67a6ea83e9d4daea5ecbc92


etcd --data-dir=data.etcd --name n1 \
	--initial-advertise-peer-urls http://10.240.0.17:2380 --listen-peer-urls http://10.240.0.17:2380 \
	--advertise-client-urls http://10.240.0.17:2379 --listen-client-urls http://10.240.0.17:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n2 \
	--initial-advertise-peer-urls http://10.240.0.18:2380 --listen-peer-urls http://10.240.0.18:2380 \
	--advertise-client-urls http://10.240.0.18:2379 --listen-client-urls http://10.240.0.18:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}


etcd --data-dir=data.etcd --name n3 \
	--initial-advertise-peer-urls http://10.240.0.19:2380 --listen-peer-urls http://10.240.0.19:2380 \
	--advertise-client-urls http://10.240.0.19:2379 --listen-client-urls http:/10.240.0.19:2379 \
	--discovery ${DISCOVERY} \
	--initial-cluster-state ${CLUSTER_STATE} --initial-cluster-token ${TOKEN}

到此etcd集群就搭建起來了，可以使用etcdctl來連接etcd。

export ETCDCTL_API=3
HOST_1=10.240.0.17
HOST_2=10.240.0.18
HOST_3=10.240.0.19
ENDPOINTS=$HOST_1:2379,$HOST_2:2379,$HOST_3:2379

etcdctl --endpoints=$ENDPOINTS member list

etcd下載:

　　windows 　　

　　　　官網自行下載運行二進制文件即可

　　mac

　　　　$ brew install etcd

終端操作

etcd 提供了 etcdctl 命令行工具和 HTTP API 兩種交互方法。etcdctl命令行工具用 go 語言編寫，也是對 HTTP API 的封裝，日常使用起來也更容易。所以這里我們主要使用 etcdctl 命令行工具演示。

put

應用程序通過 put 將 key 和 value 存儲到 etcd 集群中。每個存儲的密鑰都通過 Raft 協議復制到所有 etcd 集群成員，以實現一致性和可靠性。

這里是設置鍵的值的命令 foo 到 bar：

$ etcdctl put foo bar
OK

get

應用程序可以從一個 etcd 集群中讀取 key 的值。

假設 etcd 集群已經存儲了以下密鑰：

foo = bar
foo1 = bar1
foo2 = bar2
foo3 = bar3
a = 123
b = 456
z = 789

讀取鍵為 foo 的命令：

$ etcdctl get foo
foo  // key
bar  // value

上面同時返回了 key 和 value，怎么只讀取 key 對應的值呢：

$ etcdctl get foo --print-value-only
bar

以十六進制格式讀取鍵為foo的命令：

$ etcdctl get foo --hex
\x66\x6f\x6f
\x62\x61\x72

查詢可以讀取單個key，也可以讀取一系列key：

$ etcdctl get foo foo3
foo
bar
foo1
bar1
foo2
bar2
請注意，foo3由於范圍超過了半開放時間間隔 [foo, foo3)，因此不包括在內foo3。

按前綴讀取：

$ etcdctl get --prefix foo
foo
bar
foo1
bar1
foo2
bar2
foo3
bar3

按結果數量限制讀取

$ etcdctl get --limit=2 --prefix foo
foo
bar
foo1
bar1

讀取大於或等於指定鍵的字節值的鍵：

$ etcdctl get --from-key b
b
456
z
789

應用程序可能希望通過訪問早期版本的 key 來回滾到舊配置。由於對 etcd 集群鍵值存儲區的每次修改都會增加一個 etcd 集群的全局修訂版本，因此應用程序可以通過提供舊的 etcd 修訂版來讀取被取代的鍵。

假設一個 etcd 集群已經有以下 key：

foo = bar         # revision = 2
foo1 = bar1       # revision = 3
foo = bar_new     # revision = 4
foo1 = bar1_new   # revision = 5
以下是訪問以前版本 key 的示例：

$ etcdctl get --prefix foo # 訪問最新版本的key
foo
bar_new
foo1
bar1_new

$ etcdctl get --prefix --rev=4 foo # 訪問第4個版本的key
foo
bar_new
foo1
bar1

$ etcdctl get --prefix --rev=3 foo #  訪問第3個版本的key
foo
bar
foo1
bar1

$ etcdctl get --prefix --rev=2 foo #  訪問第3個版本的key
foo
bar

$ etcdctl get --prefix --rev=1 foo #  訪問第1個版本的key

del

應用程序可以從一個 etcd 集群中刪除一個 key 或一系列 key。

假設一個 etcd 集群已經有以下key：

foo = bar
foo1 = bar1
foo3 = bar3
zoo = val
zoo1 = val1
zoo2 = val2
a = 123
b = 456
z = 789

刪除 key 為 foo 的命令：

$ etcdctl del foo
1

刪除鍵值對的命令：

 
                $ etcdctl del --prev-kv zoo
1
zoo
val 
               

刪除從 foo 到 foo9 的命令：

$ etcdctl del foo foo9
2

刪除具有前綴的鍵的命令：

$ etcdctl del --prefix zoo
2

刪除大於或等於鍵的字節值的鍵的命令:

$ etcdctl del --from-key b
2

watch

應用程序可以使用watch觀察一個鍵或一系列鍵來監視任何更新。

打開第一個終端，監聽 foo的變化，我們輸入如下命令：

$ etcdctl watch foo

再打開另外一個終端來對 foo 進行操作：

$ etcdctl put foo 123
OK
$ etcdctl put foo 456
OK
$ ./etcdctl del foo
1

第一個終端結果如下：

$ etcdctl watch foo
PUT
foo
123
PUT
foo
456
DELETE
foo

除了以上基本操作，watch 也可以像 get、del 操作那樣使用 prefix、rev、 hex等參數，這里就不一一列舉了。

lock

Distributed locks: 分布式鎖，一個人操作的時候，另外一個人只能看，不能操作

lock 可以通過指定的名字加鎖。注意，只有當正常退出且釋放鎖后，lock命令的退出碼是0，否則這個鎖會一直被占用直到過期（默認60秒）

在第一個終端輸入如下命令：

$ etcdctl lock mutex1
mutex1/326963a02758b52d

在第二個終端輸入同樣的命令：

$ etcdctl lock mutex1

從上可以發現第二個終端發生了阻塞，並未返回像 mutex1/326963a02758b52d 的字樣。此時我們需要結束第一個終端的 lock ，可以使用 Ctrl+C 正常退出lock命令。第一個終端 lock 退出后，第二個終端的顯示如下：

$ etcdctl lock mutex1                                                                                                                          
mutex1/694d6ee9ac069436

txn

txn 從標准輸入中讀取多個請求，將它們看做一個原子性的事務執行。事務是由條件列表，條件判斷成功時的執行列表（條件列表中全部條件為真表示成功）和條件判斷失敗時的執行列表（條件列表中有一個為假即為失敗）組成的。

$ etcdctl put user frank
OK

$ ./etcdctl txn -i
compares:
value("user") = "frank"

success requests (get, put, del):
put result ok

failure requests (get, put, del):
put result failed

SUCCESS

OK

$ etcdctl get result                                                                                                                            
result
ok

解釋如下：

先使用 etcdctl put user frank 設置 user 為 frank
etcdctl txn -i 開啟事務（-i表示交互模式）
第2步輸入命令后回車，終端顯示出 compares：
輸入 value("user") = "frank"，此命令是比較 user 的值與 frank 是否相等
第 4 步完成后輸入回車，終端會換行顯示，此時可以繼續輸入判斷條件（前面說過事務由條件列表組成），再次輸入回車表示判斷條件輸入完畢
第 5 步連續輸入兩個回車后，終端顯示出 success requests (get, put, delete):，表示下面輸入判斷條件為真時要執行的命令
與輸入判斷條件相同，連續兩個回車表示成功時的執行列表輸入完成
終端顯示 failure requests (get, put, delete)：后輸入條件判斷失敗時的執行列表
為了看起來簡潔，此實例中條件列表和執行列表只寫了一行命令，實際可以輸入多行
總結上面的事務，要做的事情就是 user 為 frank 時設置 result 為 ok，否則設置 result 為 failed
事務執行完成后查看 result 值為 ok

compact

正如我們所提到的，etcd保持修改，以便應用程序可以讀取以前版本的 key。但是，為了避免累積無限的歷史，重要的是要壓縮過去的修訂版本。壓縮后，etcd刪除歷史版本，釋放資源供將來使用。在壓縮版本之前所有被修改的數據都將不可用。

$ etcdctl compact 5
compacted revision 5

$ etcdctl get --rev=4 foo
Error: etcdserver: mvcc: required revision has been compacted

lease 與 TTL

etcd 也能為 key 設置超時時間，但與 redis 不同，etcd 需要先創建 lease，然后 put 命令加上參數 –lease= 來設置。lease 又由生存時間（TTL）管理，每個租約都有一個在授予時間由應用程序指定的最小生存時間（TTL）值。

以下是授予租約的命令：

$ etcdctl lease grant 30                                                                                                                        
lease 694d6ee9ac06945d granted with TTL(30s)

$ etcdctl put --lease=694d6ee9ac06945d foo bar
OK

以下是撤銷同一租約的命令：

$ etcdctl lease revoke 694d6ee9ac06945d                                                                                                               
lease 694d6ee9ac06945d revoked

$ etcdctl get foo

應用程序可以通過刷新其TTL來保持租約活着，因此不會過期。

假設我們完成了以下一系列操作：

$ etcdctl lease grant 10
lease 32695410dcc0ca06 granted with TTL(10s)

以下是保持同一租約有效的命令：

$ etcdctl lease keep-alive 32695410dcc0ca06
lease 32695410dcc0ca06 keepalived with TTL(10)
lease 32695410dcc0ca06 keepalived with TTL(10)
lease 32695410dcc0ca06 keepalived with TTL(10)
...

應用程序可能想要了解租賃信息，以便它們可以續訂或檢查租賃是否仍然存在或已過期。應用程序也可能想知道特定租約所附的 key。

假設我們完成了以下一系列操作：

$ etcdctl lease grant 200
lease 694d6ee9ac06946a granted with TTL(200s)

$ etcdctl put demo1 val1 --lease=694d6ee9ac06946a
OK

$ etcdctl put demo2 val2 --lease=694d6ee9ac06946a
OK

以下是獲取有關租賃信息的命令：

$ etcdctl lease timetolive 694d6ee9ac06946a
lease 694d6ee9ac06946a granted with TTL(200s), remaining(178s)

以下是獲取哪些 key 使用了租賃信息的命令：

$ etcdctl lease timetolive --keys 694d6ee9ac06946a
lease 694d6ee9ac06946a granted with TTL(200s), remaining(129s), attached keys([demo1 demo2])

Go語言操作etcd

這里使用官方的etcd/clientv3包來連接etcd並進行相關操作。

安裝

$ go get go.etcd.io/etcd/clientv3

put和get操作

put命令用來設置鍵值對數據，get命令用來根據key獲取值。

package main

import (
	"context"
	"fmt"
	"time"

	"go.etcd.io/etcd/clientv3"
)

// etcd client put/get demo
// use etcd/clientv3

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		// handle error!
		fmt.Printf("connect to etcd failed, err:%v\n", err)
		return
	}
    fmt.Println("connect to etcd success")
	defer cli.Close()
	// put
	ctx, cancel := context.WithTimeout(context.Background(), time.Second)
	_, err = cli.Put(ctx, "q1mi", "dsb")
	cancel()
	if err != nil {
		fmt.Printf("put to etcd failed, err:%v\n", err)
		return
	}
	// get
	ctx, cancel = context.WithTimeout(context.Background(), time.Second)
	resp, err := cli.Get(ctx, "q1mi")
	cancel()
	if err != nil {
		fmt.Printf("get from etcd failed, err:%v\n", err)
		return
	}
	for _, ev := range resp.Kvs {
		fmt.Printf("%s:%s\n", ev.Key, ev.Value)
	}
}

watch操作

watch用來獲取未來更改的通知。

package main

import (
	"context"
	"fmt"
	"time"

	"go.etcd.io/etcd/clientv3"
)

// watch demo

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: 5 * time.Second,
	})
	if err != nil {
		fmt.Printf("connect to etcd failed, err:%v\n", err)
		return
	}
	fmt.Println("connect to etcd success")
	defer cli.Close()
	// watch key:q1mi change
	rch := cli.Watch(context.Background(), "q1mi") // <-chan WatchResponse
	for wresp := range rch {
		for _, ev := range wresp.Events {
			fmt.Printf("Type: %s Key:%s Value:%s\n", ev.Type, ev.Kv.Key, ev.Kv.Value)
		}
	}
}

將上面的代碼保存編譯執行，此時程序就會等待etcd中q1mi這個key的變化。

例如：我們打開終端執行以下命令修改、刪除、設置q1mi這個key。

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb2"
OK

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 del q1mi
1

etcd> etcdctl.exe --endpoints=http://127.0.0.1:2379 put q1mi "dsb3"
OK

上面的程序都能收到如下通知。

watch>watch.exe
connect to etcd success
Type: PUT Key:q1mi Value:dsb2
Type: DELETE Key:q1mi Value:
Type: PUT Key:q1mi Value:dsb3

lease租約

package main

import (
	"fmt"
	"time"
)

// etcd lease

import (
	"context"
	"log"

	"go.etcd.io/etcd/clientv3"
)

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: time.Second * 5,
	})
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("connect to etcd success.")
	defer cli.Close()

	// 創建一個5秒的租約
	resp, err := cli.Grant(context.TODO(), 5)
	if err != nil {
		log.Fatal(err)
	}

	// 5秒鍾之后, /nazha/ 這個key就會被移除
	_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
	if err != nil {
		log.Fatal(err)
	}
}

keepAlive

package main

import (
	"context"
	"fmt"
	"log"
	"time"

	"go.etcd.io/etcd/clientv3"
)

// etcd keepAlive

func main() {
	cli, err := clientv3.New(clientv3.Config{
		Endpoints:   []string{"127.0.0.1:2379"},
		DialTimeout: time.Second * 5,
	})
	if err != nil {
		log.Fatal(err)
	}
	fmt.Println("connect to etcd success.")
	defer cli.Close()

	resp, err := cli.Grant(context.TODO(), 5)
	if err != nil {
		log.Fatal(err)
	}

	_, err = cli.Put(context.TODO(), "/nazha/", "dsb", clientv3.WithLease(resp.ID))
	if err != nil {
		log.Fatal(err)
	}

	// the key 'foo' will be kept forever
	ch, kaerr := cli.KeepAlive(context.TODO(), resp.ID)
	if kaerr != nil {
		log.Fatal(kaerr)
	}
	for {
		ka := <-ch
		fmt.Println("ttl:", ka.TTL)
	}
}

基於etcd實現分布式鎖

go.etcd.io/etcd/clientv3/concurrency在etcd之上實現並發操作，如分布式鎖、屏障和選舉。

導入該包：

$ import "go.etcd.io/etcd/clientv3/concurrency"

基於etcd實現的分布式鎖示例：

cli, err := clientv3.New(clientv3.Config{Endpoints: endpoints})
if err != nil {
    log.Fatal(err)
}
defer cli.Close()

// 創建兩個單獨的會話用來演示鎖競爭
s1, err := concurrency.NewSession(cli)
if err != nil {
    log.Fatal(err)
}
defer s1.Close()
m1 := concurrency.NewMutex(s1, "/my-lock/")

s2, err := concurrency.NewSession(cli)
if err != nil {
    log.Fatal(err)
}
defer s2.Close()
m2 := concurrency.NewMutex(s2, "/my-lock/")

// 會話s1獲取鎖
if err := m1.Lock(context.TODO()); err != nil {
    log.Fatal(err)
}
fmt.Println("acquired lock for s1")

m2Locked := make(chan struct{})
go func() {
    defer close(m2Locked)
    // 等待直到會話s1釋放了/my-lock/的鎖
    if err := m2.Lock(context.TODO()); err != nil {
        log.Fatal(err)
    }
}()

if err := m1.Unlock(context.TODO()); err != nil {
    log.Fatal(err)
}
fmt.Println("released lock for s1")

<-m2Locked
fmt.Println("acquired lock for s2")

輸出：

acquired lock for s1
released lock for s1
acquired lock for s2

查看文檔了解更多

其他操作

其他操作請查看etcd/clientv3官方文檔。

參考鏈接：

go操作etcd

文章轉自