整體框架
1、Consul 介紹
Consul 是基於 GO 語言開發的開源工具,主要面向分布式,服務化的系統提供服務注冊、服務發現和配置管理的功能。Consul 提供服務注冊/發現、健康檢查、Key/Value存儲、多數據中心和分布式一致性保證等功能。之前我們通過 Prometheus 實現監控,當新增一個 Target 時,需要變更服務器上的配置文件,即使使用 file_sd_configs 配置,也需要登錄服務器修改對應 Json 文件,會非常麻煩。不過 Prometheus 官方支持多種自動服務發現的類型,其中就支持 Consul。
2、環境、軟件准備
本次演示環境,是在Centos7 系統來執行操作,以下是安裝的軟件及版本:
- System: CentOS Linux release 7.4.1708 (Core)
- Docker: Docker version 20.10.3, build 48d30b5
- Prometheus: Version 2.25.2
- Consul: 1.6.1
注意:方便啟動 Prometheus、Consul服務,我使用 Docker 方式啟動,,這里忽略 Docker 的安裝過程。其中 Prometheus 安裝配置,可以參照之前文章 基於Centos7.4搭建prometheus+grafana+altertManger監控Spring Boot微服務(docker版),這里着重介紹一下如何啟動並配置 Consul 並配置 Prometheus 基於 Consul 實現自動服務發現。
3、Consul 安裝配置
使用 Docker 啟動 Consul 單節點服務,直接獲取最新版官方鏡像 consul:latest
命令如下:
[root@pro-gra-alt prometheus]# docker run --name consul -d -p 8500:8500 consul
啟動完畢后,瀏覽器訪問 http://ip:8500
地址(ip為宿主機地址),即可打開 Consul Web 管理頁面。可以看到默認只有 consul 一個 Service,后期我們注冊到 Consul 的 Service 都可以從頁面上看到,非常直觀。
4、API 注冊服務到 Consul
接下來,我們要注冊服務到 Consul 中,可以通過其提供的 API 標准接口來添加。那么先注冊一個測試服務,該測試數據為spring boot微服務,服務地址及端口為 spring boot 提供指標數據的地址,執行如下命令:
curl -X PUT -d '{"id": "springboot-anops","name": "anops-10.10.10.10:80","address": "10.10.10.10","port": 80,"tags": ["prometheus-target"],"checks": [{"http": "http://10.10.10.10:80/actuator/prometheus", "interval": "5s"}]}' http://10.10.10.2:8500/v1/agent/service/register
腳本批量執行:
[root@monitor consul]# cat regdit.sh #!/bin/bash proj_array=(agent:10.10.10.9:8080 anops:10.10.10.8:8765) for((i=0;i<${#proj_array[*]};i++)) do proj_name=`echo ${proj_array[i]} |awk -F':' '{print $1}'` ip_a=`echo ${proj_array[i]} |awk -F':' '{print $2}'` port=`echo ${proj_array[i]} |awk -F':' '{print $3}'` if [ "${proj_name}" == "agent" ];then curl -X PUT -d '{"id": "springboot-'${proj_name}'","name": "'${proj_name}'-'${ip_a}':'${port}'","address": "'${ip_a}'","port": '${port}',"tags": ["prometheus-target"],"checks": [{"http": "http://'${ip_a}':'${port}'/agent/actuator/prometheus", "interval": "5s"}]}' http://10.10.10.2:8500/v1/agent/service/register else curl -X PUT -d '{"id": "springboot-'${proj_name}'","name": "'${proj_name}'-'${ip_a}':'${port}'","address": "'${ip_a}'","port": '${port}',"tags": ["prometheus-target"],"checks": [{"http": "http://'${ip_a}':'${port}'/actuator/prometheus", "interval": "5s"}]}' http://10.10.10.2:8500/v1/agent/service/register fi done [root@monitor consul]#
執行完畢后,刷新一下 Consul Web 控制台頁面,可以看到成功注冊到 Consul 中。
如果要注銷掉某個服務,可以通過如下 API 命令操作,例如注銷上邊添加的 spring boot微服務
curl -X PUT http://10.10.10.2:8500/v1/agent/service/deregister/springboot-anops
springboot-anops為實例id
5、配置 Prometheus 實現自動服務發現
現在 Consul 服務已經啟動完畢,並成功注冊了一個服務,接下來,我們需要配置 Prometheus 來使用 Consul 自動服務發現,目的就是能夠將上邊添加的服務自動發現到 Prometheus 的 Targets 中,增加 prometheus.yml
配置如下:
[root@pro-gra-alt prometheus]# cat prometheus.yml global: scrape_interval: 60s evaluation_interval: 60s scrape_configs: - job_name: prometheus static_configs: - targets: ['10.10.10.2:9090'] labels: instance: prometheus - job_name: 'consul-prometheus' consul_sd_configs: - server: '10.10.10.2:8500' relabel_configs: - source_labels: [__metrics_path__] regex: /metrics target_label: __metrics_path__ replacement: /actuator/prometheus action: replace - source_labels: [__meta_consul_service_id] regex: springboot-agent target_label: __metrics_path__ replacement: /agent/actuator/prometheus action: replace - source_labels: [__meta_consul_service] separator: ; regex: (.*) target_label: application replacement: $1 action: replace - source_labels: [__address__] separator: ":" regex: (127.0.0.1):(.*) target_label: __address__ replacement: 10.10.10.2:${2} action: replace - source_labels: ['__meta_consul_tags'] regex: '^.*,prometheus-target,.*$' action: keep alerting: alertmanagers: - static_configs: - targets: - 10.10.10.2:9093 rule_files: - "/usr/local/prometheus/rules/*.rules" [root@pro-gra-alt prometheus]#
其中 :
consul_sd_configs
指定 Consul 的地址relabel_configs
指定配置標簽覆蓋規則__meta_consul_service
- source_labels: [__meta_consul_service] separator: ; regex: (.*) target_label: application replacement: $1 action: replace
這個配置是將 __meta_consul_service
重新映射為 application
字段,方便 Prometheus 查詢
__metrics_path__
- source_labels: [__metrics_path__] regex: /metrics target_label: __metrics_path__ replacement: /actuator/prometheus action: replace
這個配置是為了將 Prometheus 默認的拉取數據 /metrics
改成 /actuator/prometheus
,方便從 Spring拉取,如果有多種不同的應用,數據路徑不一樣,建議設置多個job,以使用不同的規則
- source_labels: [__meta_consul_service_id] regex: springboot-agent target_label: __metrics_path__ replacement: /agent/actuator/prometheus action: replace
這個配置是匹配到__meta_consul_service_id 為 sprintboot-agent 時,將__metrics_path__的值替換為/agent/actuator/prometheus (因為該微服務比其他微服務多了/agent,因此單獨過濾)
__meta_consul_tags
- source_labels: ['__meta_consul_tags'] regex: '^.*,prometheus-target,.*$' action: keep
這個配置是為了篩選指定tag的應用,只有有這個tag的應用才會拉取監控數據,這里是 prometheus-target,是在 Spring Boot的配置文件中配置的,這樣就可以避免拉取不相關的數據的應用(如 Consul自己的數據,替換路徑為/actuator/prometheus后無法獲取到監控數據)
配置完成后重新創建 Prometheus容器,配置文件掛載到宿主機
docker run -d -p 9090:9090 --name prometheus -v /etc/localtime:/etc/localtime -v /jws/prometheus/prometheus.yml:/etc/prometheus/prometheus.yml -v /jws/prometheus/rules/node-up.rules:/usr/local/prometheus/rules/node-up.rules prom/prometheus --config.file=/etc/prometheus/prometheus.yml --web.enable-lifecycle
重新創建容器后查看Prometheus UI 頁面的 Targets 或者Service Discovery是否配置成功
參考:https://cloud.tencent.com/developer/article/1536967
參考:https://hellowoodes.blog.csdn.net/article/details/106159160
參考:https://www.prometheus.wang/promql/prometheus-promql-functions.html