SpringBoot+Prometheus+Grafana實現應用監控和報警

本文轉載自查看原文 2020-05-04 18:00 1414 spring boot/ Prometheus/ Grafana/ springboot

一、背景

SpringBoot的應用監控方案比較多，SpringBoot+Prometheus+Grafana是目前比較常用的方案之一。它們三者之間的關系大概如下圖：

關系圖

二、開發SpringBoot應用

首先，創建一個SpringBoot項目，pom文件如下：

<dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>
        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-web</artifactId>
        </dependency>

        <dependency>
            <groupId>org.projectlombok</groupId>
            <artifactId>lombok</artifactId>
            <optional>true</optional>
        </dependency>

        <!-- https://mvnrepository.com/artifact/io.prometheus/simpleclient_spring_boot -->
        <dependency>
            <groupId>io.prometheus</groupId>
            <artifactId>simpleclient_spring_boot</artifactId>
            <version>0.8.1</version>
        </dependency>

        <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-security</artifactId>
        </dependency>

注意： 這里的SpringBoot版本是1.5.7.RELEASE，之所以不用最新的2.X是因為最新的simpleclient_spring_boot只支持1.5.X，不確定2.X版本的能否支持。

MonitorDemoApplication啟動類增加注解

 
             package cn.sp;  
               
import io.prometheus.client.spring.boot.EnablePrometheusEndpoint;  
               
import io.prometheus.client.spring.boot.EnableSpringBootMetricsCollector;  
               
import org.springframework.boot.SpringApplication;  
               
import org.springframework.boot.autoconfigure.SpringBootApplication;  
               
@EnablePrometheusEndpoint  
               
@EnableSpringBootMetricsCollector  
               
@SpringBootApplication  
               
public class MonitorDemoApplication {  
               
 public static void main(String[] args) {  
               
 SpringApplication.run(MonitorDemoApplication.class, args);  
               
 }  
               
}

配置文件application.yml

 
             server:  
               
 port: 8848  
               
spring:  
               
 application:  
               
 name: monitor-demo  
               
security:  
               
 user:  
               
 name: admin  
               
 password: 1234  
               
 basic:  
               
 enabled: true  
               
 # 安全路徑列表，逗號分隔，此處只針對/admin路徑進行認證  
               
 path: /admin  
               
# actuator暴露接口的前綴  
               
management:  
               
 context-path: /admin  
               
 # actuator暴露接口使用的端口，為了和api接口使用的端口進行分離  
               
 port: 8888  
               
 security:  
               
 enabled: true  
               
 roles: SUPERUSER

測試代碼TestController

@RequestMapping("/heap/test")
@RestController
public class TestController {

    public static final Map<String, Object> map = new ConcurrentHashMap<>();

    @RequestMapping("")
    public String testHeapUsed() {
        for (int i = 0; i < 10000000; i++) {
            map.put(i + "", new Object());
        }
        return "ok";
    }
}

這里的邏輯就是在請求這個接口后，創建大量對象保存到map中增加堆內存使用量，方便后面測試郵件報警。

啟動項目后，可以在IDEA中看到有很多Endpoints，如圖：

enter description here

開始我的IDEA是不顯示這個 Endpoints，后來發現是我使用的idea版本太老了,還是2017.1的，
而這個需要 idea2017.2版本以上才能看到。
后來只好重新下載安裝，弄了好久。。。。

啟動完畢，訪問http://localhost:8888/admin/prometheus就可以看到服務暴露的那些監控指標了。

監控指標

注意：

由於開啟了安全認證，所以訪問這個URL的需要提示輸入賬號/密碼，如果提示404請檢查下你的請求地址是否正確，如果不設置management.context-path則默認地址是http://ip:port/prometheus

三、安裝Prometheus

下載地址點擊這里，本文下載的是Windows版本prometheus-2.17.2.windows-amd64.tar.gz。

解壓后修改prometheus.yml文件，配置數據采集的目標信息。

 
             scrape_configs:  
               
 # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.  
               
 # - job_name: 'prometheus'  
               
 # metrics_path defaults to '/metrics'  
               
 # scheme defaults to 'http'.  
               
 # static_configs:  
               
 # - targets: ['localhost:9090']  
               
 - job_name: 'monitor-demo'  
               
 scrape_interval: 5s # 刮取的時間間隔  
               
 scrape_timeout: 5s   
               
 metrics_path: /admin/prometheus  
               
 scheme: http   
               
 basic_auth: #認證信息  
               
 username: admin  
               
 password: 1234  
               
 static_configs:  
               
 - targets:  
               
 - 127.0.0.1:8888 #此處填寫 Spring Boot 應用的 IP + 端口號

更多配置信息請查看官方文檔。

現在可以啟動Prometheus了，命令行輸入：prometheus.exe --config.file=prometheus.yml
訪問http://localhost:9090/targets，查看Spring Boot采集狀態是否正常。

采集目標信息

四、安裝Grafana

下載地址點擊這里，本文用到的是Windows版本grafana-6.3.3.windows-amd64.zip。

解壓后運行bin目錄下的grafana-server.exe啟動，游覽器訪問http://localhost:3000即可看到登錄頁面，默認賬號密碼是admin/admin。

現在開始創建自己的可視化監控面板。
1.設置數據源
enter description here

2. 創建一個Dashboard
enter description here

enter description here

3. 填寫采集的指標點
enter description here

注意： 這里的指標點不能隨便填，必須是已有的可以在 Prometheus看到。

采集指標

4.選擇圖表樣式
enter description here

5.填寫標題描述
enter description here

最后點擊右上角的保存，輸入Dashboad的名稱即可。

結果展示

Tips: 這里的圖表布局是可以用鼠標拖動的

五、添加郵件報警

在實際項目中當監控的某的個指標超過閾值（比如CPU使用率過高），希望監控系統自動通過短信、釘釘和郵件等方式報警及時通知運維人員，Grafana就支持該功能。

第一步： 點擊[Alerting]——>[Notification channels]添加通知通道

創建通道

編輯

這里的Type有很多選項，包括webhook、釘釘等，這里以郵件為例。

第二步： 郵箱配置
Grafana默認使用conf目錄下defaults.ini作為配置文件運行，根據官方的建議我們不要更改defaults.ini而是在同級目錄下新建一個配置文件custom.ini。
以騰訊企業郵箱為例，配置如下：

#################################### SMTP / Emailing #####################
[smtp]
enabled = true
host = smtp.exmail.qq.com:465
user = xxxx@ininin.com
# If the password contains # or ; you have to wrap it with triple quotes. Ex """#password;"""
password = XXX
cert_file =
key_file =
skip_verify = true
from_address = xxxx@ininin.com
from_name = Grafana
ehlo_identity = ininin.com

然后需要重啟Grafana，命令grafana-server.exe -config=E:\file\grafana-6.3.3\conf\custom.ini

第三步： 為指標添加alert