Consul和Kong的實踐(一)


Consul和Kong的實踐(一)

這一篇先介紹consul集群,以及consul和應用服務的結合使用,下一篇是和kong網關的結合。

一.Consul的集群安裝

以其中一台機器為例:

  1. **mkdir /usr/local/consul **  創建consul的安裝目錄
  2. cd /usr/local/consul
  3. wget https://releases.hashicorp.com/consul/1.5.2/consul_1.5.2_linux_amd64.zip 建議大家不要直接使用我給出的下載地址,可以開了代理下好了,再將consul壓縮包上傳到服務器或者虛擬機。官網下載地址:https://www.consul.io/downloads.html  (我是centos7.X 64位操作系統)
  4. unzip consul_1.5.2_linux_amd64.zip   解壓cconsul壓縮包,如果沒有unzip命名,先安裝(yum -y install unzip)consul的壓縮包解壓以后是非常干凈的,只有一個consul的二進制文件。
  5. **cp consul /usr/local/bin    **將consul文件復制到 /usr/local/bin 目錄下面,這樣我們不管在什么目錄下都可以運行了。
  6. consul version   老規矩,版本號測試一下。
  7. 下一步就是開啟consul的server服務了,consul分為server和client兩種節點。我們現在是先搭建server集群。開啟consul server節點有兩種方式。

1)直接運行,控制台可查看日志,ctrl+c可直接退出。
   ** consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node1
    -client=0.0.0.0 -bind=192.168.0.171 -datacenter=dc1
     2)  后台運行
         ** nohup consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node1 
   -client=0.0.0.0 -bind=192.168.0.171 -datacenter=dc1  >/tmp/consul/nohup.out 2>&1 &

簡單介紹一下參數的意思:

** -server : 定義agent運行在server模式
     ** -ui
:開啟ui管理
      -bootstrap-expect :在一個datacenter中期望提供的server節點數目,當該值提供的時候,consul一直等到達     到指定sever數目的時候才會引導整個集群,該標記不能和bootstrap共用
      -client:consul服務偵聽地址,這個地址提供HTTP、DNS、RPC等服務,默認是127.0.0.1所以不對外提供服            務,如果你要對外提供服務改成0.0.0.0
     如果你對更多配置有興趣,可以移步以下地址: https://www.consul.io/docs/agent/options.html

  1. 啟動以后我們可以檢查一下端口是否監聽:netstat -tunlp (如果nestat沒裝,可以執行 yum -y install net-tools)。可以看到8300 8301 8302以及8500和8600端口都已經監聽了。

其中8500是ui端口,在我們集群啟動以后,可以用ip:8500/ui 查看,8600是域名解析端口,在我的解決方案里        面會使用到。
  9. **consul members **查看成員,目前只有改節點。

  1. 在另外兩台虛擬機或者服務器上重復以上操作,第七步命令有一些不同。

consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node2 -client=0.0.0.0
-bind=192.168.0.155 -datacenter=dc1 -join 192.168.0.171
consul agent -server -ui -bootstrap-expect=3 -data-dir=/tmp/consul -node=node3 -client=0.0.0.0
-bind=192.168.0.169 -datacenter=dc1 -join 192.168.0.171

  1. **consul members **此刻就可以看到有三個節點了

image.png

12.consul operator raft list-peers
     image.png
    
    在這里我們可以看到consul集群已經啟動了,自動選舉node2節點,也就是ip為155的這台機器為leader,如果你     斷開了這台機器,集群會自動選舉下一個leader。
13.現在你可以選擇選擇三台機器的任意一台機器的ip,訪問ip:8500,即可以看到ui管理。(請注意關閉防火牆,或       者打開該端口。不然其他機器上訪問不到)
     image.png

二.Consul的架構以及和應用程序的結合

目前我們的架構如圖:

image.png

我們這篇博客要達到的目的:

image.png
         
     consul提供的節點有兩種模式,上面我們已經提到了,我們之前搭建的就是server,每個應用程序application到consul server之間,需要client的交互。你說client和application是部署在一台機器上面的,這是官方推薦的架構,當然我們也可以有其他選擇,這里我采用的是這種,比較簡單。(client是一個非常輕量級的進程.用於注冊服務,運行健康檢查和轉發對server的查詢,client無狀態
     為了做到高可用,我們application服務本身就必須是高可用的,如圖所示,比如serviceA(文中application等於service概念)我在三台服務器上都部署了,同時通過三個consul client注冊了。這樣,不管是某台consul client或者某台service掛了,或者某台consul server,都不會影響到我們的使用,其實nginx也可以做到類似功能,不過在服務注冊和發現上面,consul更為靈活。
    簡單介紹了一下我的設計,讓我們來繼續搭建吧:
    機器有限,我就不換機器了,還是在這三台服務器上面去部署了,這次部署consul client 我給你介紹另外一種          方式部署,docker,其實consul server的部署也可以用docker,這個選擇自己習慣的就行。

1.部署client

1)yum install -y docker  如果機器已經安裝了docker 請直接跳至第四步
      2)
systemctl start docker

      3)systemctl status docker
      4)  docker pull consul:1.5.2
      5)docker images  查看鏡像,可以看到已經拉到了。
      6)docker run --name nodeclient1 -d -p 8501:8500  -p 8311:8301 -p 8312:8302 -p 8601:8600      consul:1.5.2  agent  -ui -bind=0.0.0.0 -client=0.0.0.0  -join 192.168.0.171               
      7)consul members
          image.png
       8)按照架構圖里面還需要部署兩台,這里就不做演示了,按照上述步驟,大家可以自行部署。
 9)部署完了可以在ui界面里面看一下。
image.png

2.注冊services

consul提供http api的方式注冊,如果是.NET core的程序可以采用這種方式手動去寫腳本,或者代碼去注冊。我這邊是java程序,采用的框架都是springboot,所以引用了springcloud就直接結合了consul的注冊,我先介紹一下這種。
    1)引用maven包

 <dependency>
   <groupId>org.springframework.cloud</groupId>
   <artifactId>spring-cloud-starter-consul-all</artifactId>
   <version>2.1.1.RELEASE</version>
</dependency>
<dependency>
   <groupId>org.springframework.boot</groupId>
   <artifactId>spring-boot-starter-actuator</artifactId>
   <version>2.1.5.RELEASE</version>
</dependency>

2)配置bootstrap.yml配置文件,如果你本來項目是application.yml可以直接換成bootstrap.yml.
        核心配置貼個圖:
       image.png

spring:
 application:
    name: operating #Operating
 cloud:
    consul:
      host: 192.168.0.171  
      port: 8501
      discovery:
        register: true
        hostname: 192.168.0.159
        serviceName: ${spring.application.name}
        healthCheckPath: /api/operating/actuator/health
        healthCheckInterval: 15s
        tags: urlprefix-/${spring.application.name}
        #instanceId: ${spring.application.name}:${spring.cloud.client.ip-address}

老規矩給大家介紹一下配置的意思:
     host:        consul client 的ip。
     port:           client 的port 。正常是8500,但是我用docker部署的時候用了8501映射了容器的8500,。
     hostname:健康檢查的ip 也就是你當前應用的ip,其實和前面host一樣,你把application和consul client部署                           在同一台機器的時候,這兩個地方可以都填127.0.0.1。
     healthCheckPath:如果你沒配置context-path,那么就是/actuator/health,我這里配置context-path****,所以                         加上來了。
     tags:        后期做版本管理,我會用起來,現在無所謂。
     instanceId: consul 注冊的時候默認是applicationName+port ,我這里將他重寫了。所以你看到我將它注釋掉                          了。 
3)啟動springboot程序。服務注冊成功,查看ui管理

image.png

三.基於consul集群架構,調用服務

現在我們的服務已經注冊到了consul上面了,那么針對目前架構,我們肯定還有兩個疑惑。
1.公司服務器內部之間的調用,比如我們已經注冊了的rpc服務之間的調用,當然你是Restful也所謂。
2.網關層面怎么調用consul。
針對第一點,springcloud是提供部分sdk的,當然如果你是.NET CORE,我不太清楚是否有相關sdk,沒有也可以自己寫。我先介紹一下,你如果想實現自己sdk的思路。
consul任何一個節點都提供了
http://192.168.0.155:8500/v1/agent/services      節點內部所有存活服務查詢
http://192.168.0.155:8500/v1/catalog/services    集群內部所有存活服務查詢

http://192.168.0.155:8500/v1/agent/service/serviceName   節點內部單個服務查詢 
http://192.168.0.155:8500/v1/catalog/service/serviceName 集群內部單個服務查詢
Tip:serviceName替換成你注冊的名稱

根據上述consul api接口我們是可以拿到你注冊的service實際ip和content-path,並且還有tags,那么你還可以利用tags進行版本控制。
那我們先來看看,springcloud替我們做了什么?
引用的包,我們已經引用了。
直接上代碼:

public class ServerInvoke {
    @Autowired
    private LoadBalancerClient loadBalancer;
    @Autowired
    private DiscoveryClient discoveryClient;
    
     /**
     * 獲取所有服務
     *
     * @return
     */
    private List<ServiceInstance> services(String serverName) {
        return discoveryClient.getInstances(serverName);
    }

    /**
     * 從所有服務中選擇一個服務(輪詢)
     */
    private ServiceInstance discover(String serverName) {
        return loadBalancer.choose(serverName);
    }
}

很明顯可以發現我們可以拿到服務的實際地址,如果你的服務是高可用的,會輪訓拿到不同的地址。

針對服務以jsonrpc協議內部調用時

由於公司之前都是基於jsonrpc在調用(.NET平台)為了兼容。我寫了一個非常簡單的sdk,傳到了github,如果你公司不是jsonrpc協議,你可以自己寫一個,思路上面已經給了提供,在參考一下我寫的。(草稿版)
https://github.com/xiaoxiaobanxian/discoveryrpcsdk/tree/master

針對服務被外部(網關層調用)

前文已經介紹了,consul是8600端口作為域名解析的,並且consul會為你的服務提供一個域名:serviceName.service.consul。所以只需要將你的請求轉發到8600即可,你可以采用serviceName.service.consul/XXX來訪問你的服務,前提是已經轉發到了consul的域名解析端口。
    測試一下** dig @127.0.0.1 -p 8600 Operating.service.consul SRV  **(dig命令安裝 yum install bind-utils
  image.png

可以看到通過consul域名解析是沒有問題的。

關於consul的集群安裝,client安裝和services注冊我已經介紹完了,他們之間的調用也介紹了。下一篇文章就是介紹如何和kong網關結合起來。即使你不選擇Kong作為你的網關,這篇文章也可以幫你完善你的服務注冊和發現,以及調用。謝謝大家。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM