第一部分：Consul 基礎
1，Consul 介紹
官網文檔描述：Consul 是一個網絡工具，提供功能齊全的服務網格和服務發現。
它可以做什么：自動化網絡配置，發現服務並啟用跨任何雲或運行時的安全連接。
那么，我們對 Consul 的理解，就是服務網格、服務發現，官網文檔說的這兩個特征，到底是啥意思？跨什么雲？
下面，我們將通過實踐操作，逐漸了解 Consul，搭建出一個真實的 Consul 服務來體驗。
2，安裝 Consul
兩台服務器上都需要安裝 Consul，具體步驟可以參考下面的說明。
Ubuntu/Debian 系統
# 添加 GPG key
curl -fsSL https://apt.releases.hashicorp.com/gpg | sudo apt-key add -
# 添加 倉庫
# 如果執行后提示 apt-add-repository: command not found
# 可先安裝： apt-get install software-properties-common
sudo apt-add-repository "deb [arch=amd64] https://apt.releases.hashicorp.com $(lsb_release -cs) main"
# 更新源以及安裝 consul
sudo apt-get update && sudo apt-get install consul
Centos/RHEL 系統
# 使用 yum-config-manager 管理倉庫
sudo yum install -y yum-utils
# 連接倉庫
sudo yum-config-manager --add-repo https://rpm.releases.hashicorp.com/RHEL/hashicorp.repo
# 安裝
sudo yum -y install consul
檢查安裝
可輸入 consul 檢查是否安裝成功，如果有信息輸出即說明安裝成功。
root@50skbjiynxyxkcfh:~# consul
Usage: consul [--version] [--help] <command> [<args>]
Available commands are:
acl Interact with Consul's ACLs
agent Runs a Consul agent
catalog Interact with the catalog
config Interact with Consul's Centralized Configurations
connect Interact with Consul Connect
debug Records a debugging archive for operators
event Fire a new event
exec Executes a command on Consul nodes
... ...
3，運行 Consul Agent
文章一般都會說一個 Consul 服務或者一個 Consul 實例，官網文檔稱為 Agent，這個要記住。為了避免誤解，本文提到的代理指 proxy，一般使用 proxy 和 agent 單詞說明。
Agent 可以以服務器模式(server mode)或客戶端模式(client mode)運行，多個Agent 組成一個 Consul datacenter，每個 Consul datacenter 至少有一個 Agent 屬於 服務器模式。
官方不建議單服務器部署。
啟動 agent
前面說到過，agent 表示一個 Consul 實例。
因為現在處於探索實踐階段，為了避免各種加密安全問題等，我們需要使用 -dev 參數，以開發模式啟動。
# $> consul agent
# Runs a Consul agent
consul agent -dev
執行這個命令后，consul 會被啟動起來，並且占用終端。
啟動過程中注意留意信息，如果啟動失敗，需要自行根據提示解決問題。如端口沖突：
發現數據中心成員
執行 consul members 命令可以發現數據中心成員。
root@50skbjiynxyxkcfh:~# consul members
Node Address Status Type Build Protocol DC Segment
50skbjiynxyxkcfh 172.31.0.6:8301 alive client 0.5.2 2 dc1 <default>
意思是檢查當前 Consul 服務的成員組成，目前是單服務器，所以只有一個成員。
這里不需要留意有什么用途，只要記得這個命令就行，后面我們會使用到這個命令查看信息。
查看 UI
假如服務器 IP 是 172.31.0.6 ，則可以通過 http://172.31.0.6:8500 訪問 consul 的 UI服務(http apis)。
4，在 Consul Service Discovery 中注冊服務
本小節將介紹 Consul 中的一些網絡知識，端口與dns的說明；
然后通過實例講解如何定義服務以及注冊服務到 Consul 中 -- Consul 服務發現。
端口
這里先說明一些 Consul 的端口。
官網文檔：Before running Consul, you should ensure the following bind ports are accessible.
翻譯：在運行 Consul 之前，需要確保以下端口都是可以訪問的。
文檔地址：https://www.consul.io/docs/install/ports.html
對於一些重要的配置，要查看官方文檔原版，別百度，很多文章只是機器翻譯或者 copy 命令，會讓你進坑的。
| Use | Default Ports |
|---|---|
| DNS: The DNS server (TCP and UDP) | 8600 |
| HTTP: The HTTP API (TCP Only) | 8500 |
| HTTPS: The HTTPs API | disabled (8501)* |
| gRPC: The gRPC API | disabled (8502)* |
| LAN Serf: The Serf LAN port (TCP and UDP) | 8301 |
| Wan Serf: The Serf WAN port (TCP and UDP) | 8302 |
| server: Server RPC address (TCP Only) | 8300 |
| Sidecar Proxy Min: Inclusive min port number to use for automatically assigned sidecar service registrations. | 21000 |
| Sidecar Proxy Max: Inclusive max port number to use for automatically assigned sidecar service registrations. | 21255 |
*For HTTPS and gRPC the ports specified in the table are recommendations.
-
8500(http)、8501(https)、8502(gRPC) 三個接口可以通過遠程請求調用相關的服務，或者直接訪問。
-
8501，8502 兩個端口都是 disabled，所以我們可以先看一下 8500 端口的作用，其他端口后面慢慢用到再解釋。
打開你的瀏覽器，訪問 http://{你的ip}:8500，會發現跳到了一個 UI 界面。
- 如果要查看端口被哪個進程占用，可以使用
lsof -i:8081命令，8081 是要查詢的端口。
定義服務
本小節講解如何通過配置文件以及命令形式，定義服務並向 Consul 注冊服務。
打開或新建(如果不存在) /etc/consul.d 目錄，后面使用此目錄作為 Consul 配置文件的存放位置。
在目錄中新建一個 web.json 文件，用於定義服務。
touch web.json
編輯文件，修改其內容為：
{
"service": {
"name": "web",
"tags": [
"rails"
],
"port": 8080
}
}
端口可自由設置；這里定義了一個名稱為 web 的服務，其端口為 8080。
使用配置啟動服務
我們定義配置目錄和配置文件后，可以使用配置文件重新啟動節點：
consul agent -dev -enable-script-checks -config-dir=/etc/consul.d
-enable-script-checks 可以開啟配置文件檢查，增強安全性，因為配置文件可以啟用腳本，導致可能會引入一個遠程執行漏洞。當然，本文的實踐步驟還用不上，這里先預熱。
如無意外，會提示以下信息：
2020/11/21 10:09:25 [INFO] agent: Synced service "web"
2020/11/21 10:09:25 [DEBUG] agent: Node info in sync
2020/11/21 10:09:25 [DEBUG] agent: Service "web" in sync
2020/11/21 10:09:25 [DEBUG] agent: Node info in sync
如何重新加載配置文件
如果你修改了配置文件，可以使用命令讓 Consul 重新加載配置文件，而無需重啟。
$ consul reload
Configuration reload triggered
5，查詢服務
我們將服務添加到 Consul 后，可以使用 DNS接口 或 HTTP API 對其進行查詢，其它應用可以通過 Consul 網絡接口查詢到 Consul 提供了什么服務，這就是服務發現（不知道我的理解對不對）。
通過 HTTP API
通過 Consul HttpAPI 服務，我們可以查詢到服務列表，其 URL 為 /v1/catalog/service/web 。
通過命令查詢：
curl http://localhost:8500/v1/catalog/service/web
也可以使用瀏覽器訪問。
返回的 json 中列出了所有服務節點，以及每個服務實例的信息、狀態，根據 json 信息，可以發現服務。
當你發現服務后，可以通過 json 中的信息，獲取服務的 ip 和端口，這樣就可以正式連接到這個服務了。
通過 UI 查詢
訪問 http://{你的ip}:8500 ，在 UI 上會發現注冊了一個叫 web 的服務。
6，DNS 知識與查詢
基礎知識
Linux 中，dig 命令用於查詢一個域名的 DNS 信息，使用示例：
dig baidu.com
... ...
baidu.com. 375 IN A 220.181.38.148
baidu.com. 375 IN A 39.156.69.79
... ...
DNS 查詢的標准端口號是 53，通過這個端口號，可以向 DNS 服務器查詢更多的域名信息。
DNS 有 A 記錄(解析到 IP)、CNAME(別名，解析到域名)等類型，有興趣的話自行查找資料了解。
dig 命令請參考 https://linux.die.net/man/1/dig
dig 的其中一個查詢格式為：
dig [@server] [-p {port}] [name]
dig @127.0.0.1 -p 8600 是指定 8600 端口作為 DNS 服務查詢的端口；name 名稱則表示要指定查詢的資源名稱。
記住這個查詢格式。
通過 DNS 查詢 Consul 服務信息
前面已經注冊了 web 服務，那么 如何通過 Consul 的 DNS 接口(8600端口)查詢 web 服務的信息？
可在在默認主機上執行：
dig @127.0.0.1 -p 8600 web.service.consul
關於 dig 命令，前面已經講解了，web.service.consul 就是 [name] 部分。 Consul 會將注冊的服務名稱加上 .service.consul 做為命名。
那么，查詢這個 DNS 有啥用？這里先記下來，后面我們繼續搗鼓。
小結
目前我們已經學會使用 命令注冊服務，但是因為只是 “配置” 了一下，web(8080端口)服務，壓根不存在真正的服務。后面我們將通過部署真實的 web 服務，然后注冊到 Consul 中。
7，將數據存儲在Consul KV 中
打開你的 Consul UI 界面，如圖：
你可以通過 UI 界面創建鍵值數據，也可以通過命令行形式 CURD 鍵值數據。命令行示例如下：
增加或修改：
consul kv put {key} {value}
獲取值：
consul kv get {key}
刪除鍵：
consul kv delete {key}
示例：
consul kv put name 痴者工良
第二部分：深入 Consul
本章內容介紹如何使用 Consul Service Mesh 連接服務、代理服務；建立數據中心，部署多個實例；
8，Consul Service Mesh
了解 Consul Service Mesh
Consul Service Mesh 是通過基於身份的授權、L7流量管理和服務對服務加密，為現代應用程序網絡和安全性創建一致的平台。
它有什么用處？
例如，在多個集群和環境之間聯合領事，創建一個全球服務網格。跨平台一致地應用策略和安全。如下圖所示：
筆者注：envoy 是第三方開源邊緣和服務代理，並不是 Consul 的功能，Consul 自帶的是 Consul connect。
Consul Service Mesh 應用場景可參考：https://www.consul.io/use-cases/multi-platform-service-mesh
Consul Service Mesh 可以通過代理將多台服務器中的服務關聯起來，使得其能夠通過專用網絡相互訪問。
詳細請點擊 https://www.consul.io/docs/connect/gateways/mesh-gateway
部署真實服務
在 Consul 官網文檔，使用了 socat 來演示一個服務，並注冊到 Consul 中，，筆者覺得過於麻煩，這里筆者為了更好地學習 Consul ，使用 rust 編寫了一個輕量的 web 服務，Windows 大小 4MB，Linux 下 8MB，無需安裝任何依賴。
建議讀者使用筆者寫的這個 Web demo 作為真實服務部署，這個 demo 已開源，下載地址：
https://github.com/whuanles/consulweb/releases
下載文件完畢后，上傳到服務器空目錄中。
為了自定義綁定 web 服務地址，需要新建一個 option.txt 文件，其內容如下：
0.0.0.0:8081
快速創建文件命令：
echo "0.0.0.0:8081" > option.txt
Web 服務支持部署靜態文件，你可以新建靜態網頁文件如 index.html，放到程序目錄下，然后通過綁定的 ip 和端口即可訪問。
記得給 web 賦予權限：
chmod +x web
執行 ./web 啟動 web 服務，執行 nohup ./web & 后台 運行 web 服務。
這樣我們就有一個真實的 web 服務了，大家可以使用瀏覽器訪問測試。
真實注冊服務
使用筆者或者自定義編寫的服務后，需要將這個服務注冊到 Consul 中。
在 /etc/consul.d 目錄，新建 realweb.json 文件。
{
"service": {
"name": "realweb",
"port": 8081,
"connect": {
"sidecar_service": {}
}
}
}
然后執行 consul reload 重新加載配置文件。
注冊代理
為啥要注冊代理呢？
前面經過實踐，我們已經學會了注冊服務以及服務發現，一開始介紹 Consul 時，我們還看到 “Consul 提供功能強大的 服務網格”、“安全的連接” 等，那么我們通過這里的步驟(代理)，就是體會 Consul 的這個特征功能。
前面已經注冊了 realweb 這個服務，現在我們開啟代理，在新的終端窗口，執行：
consul connect proxy -sidecar-for realweb
可以看到，Consul 使用 21000 端口來代理 realweb 服務。
這個代理功能稱為 Consul Connect。
但是這個端口是不能訪問的，其基本結構如下：
源 代理后
------------------ ------------------
|8081 <---> 21000| <----> |21001 <---> 9191|
------------------ ------------------
8081(源) 和 9191(代理的端口) 都可以訪問，21000 和 21001 都是屬於橋接端口，不能訪問。
代理服務
前面注冊 realweb 代理服務后(8081 <---> 21000)，我們開始對其進行代理(21001 <---> 9191)。
這里的代理，是通過 Consul Service Mesh 使用 Sidecar 代理將服務相互連接，這種功能就叫 服務網格。
源 代理后
-------------------------- --------------------------
|8081 <-----------> 21000| <--------> |21001 <-----------> 9191|
| Consul Connect | Sidecar | Consul Connect |
-------------------------- --------------------------
為了實現代理，需要創建新的配置文件，注冊服務。
新建一個終端窗口，在 /etc/consul.d/ 目錄新建一個 proxyweb.json 文件。
其內容如下：
{
"service": {
"name": "proxyweb",
"connect": {
"sidecar_service": {
"proxy": {
"upstreams": [
{
"destination_name": "realweb",
"local_bind_port": 9191
}
]
}
}
}
}
}
可以將 Connect 代理的每個上游配置為通過網狀網關進行路由。local_bind_port 表示代理服務后，使用哪個端口作為代理端口。
綁定的代理端口可能是以下幾種情況（這里直接搬文檔）：
-
local-在這種模式下，Connect代理建立與同一數據中心中運行的網關的出站連接。然后，該網關負責確保將數據轉發到目標數據中心中的網關。 -
remote-在此模式下，Connect代理建立與目標數據中心中運行的網關的出站連接。然后，該網關將數據轉發到最終目標服務。 -
none-在此模式下，不使用網關，並且Connect代理將其出站連接直接連接到目標服務。
創建配置完畢后(注冊服務)，執行 consul reload 重新加載配置文件。
然后執行命令開始代理服務。
consul connect proxy -sidecar-for proxyweb
驗證代理
創建代理完畢后，我們檢查代理是否正常。
新建一個終端窗口，執行訪問目錄：
curl http://127.0.0.1:9191
root@50skbjiynxyxkcfh:~# curl http://127.0.0.1:9191
<h3>恭喜你，部署 Consul 服務成功！</h3><br><br><br><br>記得給筆者 痴者工良 點一下贊喲~~~
原本 realweb 服務暴露的端口為 8081，然后創建一個叫 proxyweb 的代理，其端口變成 9191，之后我們可以使用 9191 來訪問這個 realweb 服務。
下圖是從官網淘過來的，大家可以根據圖片理解一下
假如搭建了一個微服務，其中一台主機有個服務是 redis，端口是 9003，你會把 redis 暴露到公網上么？肯定不能呀，於是通過代理功能，將 redis 服務代理到另一台 web 服務器，端口變成 5000，web 程序可以訪問 redis 服務，但是外界不能訪問。
然后 web 提供 9002 端口給用戶，用戶可以訪問 web 網頁服務。
UI 界面查看
打開 Consul 界面，可以看到代理服務。
9，Consul 集群/數據中心
本章內容將介紹如何將兩台服務器的 Agent 關聯起來，建立數據中心。
開始准備
這里需要兩台服務器才行，當然官方文檔提供了使用虛擬機的方法部署另一個系統，但是這里不提倡，還是老老實實搞兩台服務器實際，不然你學啥集群和微服務。。。
在 Linux 快速部署虛擬機：https://learn.hashicorp.com/tutorials/consul/get-started-create-datacenter?in=consul/getting-started
切換到副服務器/虛擬機中，按照前面第二小節的安裝教程，安裝 consul。
在 主服務器上，停止 Consul，並關閉其它終端窗口，只留一個終端窗口就行。
root@50skbjiynxyxkcfh:~# top | grep consul
32318 root 20 0 785168 66096 49008 S 1.3 3.2 13:52.93 consul
root@50skbjiynxyxkcfh:~# kill 32318
啟動 Consul 中心
在主服務器中執行以下命令，啟動 Consul 實例。
# -bind 填寫子網ip或公網ip，另一台服務器可以訪問的ip
consul agent \
-dev
-server \
-bootstrap-expect=1 \
-node=agent-one \
-bind=172.31.0.6 \
-data-dir=/tmp/consul \
-config-dir=/etc/consul.d
-
server-提供此標志表示您希望代理以服務器模式啟動。 -
-bootstrap-expect-這告訴 Consul datacenter 總共應該有多少台服務器。 -
-node-數據中心中的每個節點必須具有唯一的名稱。 -
-bind-這是該代理將偵聽其他 Consul 成員進行通信的地址。填子網ip或公網ip。 -
data-dir-此標志告訴 Consul Agent 他們應將狀態存儲在哪里，其中可以包括服務器和客戶端的敏感數據（如ACL令牌）。 -
config-dir-此標志告訴Consul在哪里尋找其配置。
啟動成功后，會提示：
2020-11-21T07:46:59.903+0800 [INFO] agent.server: federation state anti-entropy synced
2020-11-21T07:46:59.903+0800 [INFO] agent: Synced node info
2020-11-21T07:46:59.911+0800 [INFO] agent: Synced service: service=web
2020-11-21T07:46:59.923+0800 [INFO] agent: Synced service: service=proxyweb
2020-11-21T07:46:59.939+0800 [INFO] agent: Synced service: service=proxyweb-sidecar-proxy
2020-11-21T07:46:59.961+0800 [INFO] agent: Synced service: service=realweb
2020-11-21T07:46:59.971+0800 [INFO] agent: Synced service: service=realweb-sidecar-proxy
- 如果有報 realweb、proxy 代理錯誤的信息，可以忽略掉。
啟動客戶端
在副服務器上，執行以下命令啟動一個新的 Agent。
consul agent \
-node=agent-two \
-bind=172.31.0.7 \
-enable-script-checks=true \
-data-dir=/tmp/consul \
-config-dir=/etc/consul.d
檢查成員信息
到目前為止，我們有兩台服務器，每台服務器都部署了 Consul 實例，但是他們都是獨立的，還沒有被關聯起來。
我們可以在每台服務器上執行以下命令檢查其成員信息：
consul members
# consul server 1
Node Address Status Type Build Protocol DC Segment
agent-one 172.31.0.6:8301 alive server 1.8.6 2 dc1 <all>
# consul server 2
Node Address Status Type Build Protocol DC Segment
agent-two 172.31.0.7:8301 alive client 1.8.6 2 dc1 <default>
關聯服務器
現在，我們把副服務器(172.31.0.7)加入到主服務器(172.31.0.6)中。
在副服務器上執行以下命令：
consul join 172.31.0.6
重新在每台服務器下執行 consul members 命令查看成員信息：
# consul server 1
Node Address Status Type Build Protocol DC Segment
agent-one 172.31.0.6:8301 alive server 1.8.6 2 dc1 <all>
agent-two 172.31.0.7:8301 alive client 1.8.6 2 dc1 <default>
# consul server 2
Node Address Status Type Build Protocol DC Segment
agent-one 172.31.0.6:8301 alive server 1.8.6 2 dc1 <all>
agent-two 172.31.0.7:8301 alive client 1.8.6 2 dc1 <default>
打開 UI 查看服務節點信息
打開 Consul UI 界面(8500端口)，點擊 Nodes ，即可看到 Consul 所有服務器節點。
10，集群代理服務
本章內容講述如何通過代理功能，將一台主機的服務在代理到另一台服務器中訪問。
提供代理服務
在主服務器上把 proxyweb 終端關掉(已關掉請忽略)，進入 /etc/consul.d 目錄把 proxyweb.json
刪除，重新加載配置：
consul reload
然后啟動代理功能(Consul connect)：
consul connect proxy -sidecar-for realweb
另一台服務器代理
在副服務器的 /etc/consul.d/ 目錄中，新建一個 proxyweb.json 文件，其內容如下：
{
"service": {
"name": "proxyweb",
"connect": {
"sidecar_service": {
"proxy": {
"upstreams": [
{
"destination_name": "realweb",
"local_bind_port": 9191
}
]
}
}
}
}
}
重新加載配置：
consul reload
啟動代理服務
consul connect proxy -sidecar-for proxyweb
驗證代理
在副服務器打開新的窗口，執行：
curl http://127.0.0.1:9191
發現
<h3>恭喜你，部署 Consul 服務成功！</h3><br><br><br><br>記得給筆者 痴者工良 點一下贊喲~~~
說明通過代理服務，可以將一台主機的服務(端口)，在另一台主機上使用別的端口(相同端口也可以)訪問這個服務。
關於 Consul 入門的教程就到這里為止~后面筆者會繼續寫 Consul ，歡迎關注~