開源監控系統Prometheus介紹

前言

Prometheus是CNCF的一個開源項目，Google BorgMon監控系統的開源版本，是一個系統和服務的監控系統。周期性采集metrics指標，匹配規則和展示結果，以及觸發某些條件的告警發送。

 

特點

Prometheus主要區別於其他監控系統的特點是：

• 多維度數據模型（時序數據是由指標名字和kv結構的維度定義）
• 靈活的查詢語言（PromQL）
• 不依賴分布式存儲。每個server是一個自治的節點。
• 通過HTTP拉取收集時序數據，同時提供push gateway供用戶主動推送數據，主要用於短生命周期的job。
• 通過靜態配置或服務發現來發現目標對象
• 支持多種多樣的出圖和展示方式，例如自帶的Web UI和Grafana等。
• 支持水平擴容

架構

 

組件

Prometheus生態系統由多個組件組成，其中大部分是可選的組件。

• Prometheus Server 負責收集和存儲時序數據。提供PromQL查詢語言的支持。
• Pushgateway 支持短生命周期的任務推送結果數據。
• Exporter 采集組件的總稱，是Prometheus生態系統中的Agent。
• Altermanager 處理告警。
• 客戶端SDK 官方提供的SDK支持的語言由go，java，python等多種語言。

絕大部分Prometheus的組件都是用golang編寫，使得Prometheus 組件容易編譯和部署。（二進制沒有依賴）

 

工作流程

從架構圖中可以看出，Prometheus Server 周期性的拉取從配置文件或者服務發現獲取到的目標數據，每個目標需要通過HTTP接口暴露數據。Prometheus Server通過一定的規則匯總和記錄時序數據到本地數據庫。將符合檢測條件的告警數據推送給Altermanager，Altermanager通過配置的通知方式發送告警。Web UI 或者Grafana通過PromQL查詢Prometheus Server中的數據繪圖展示。

 

適用的場景

Prometheus在記錄純數字的時序數據方面表現得非常好。既適用於機器的性能數據，也適用於服務的監控數據。對於微服務，Prometheus的多維度收集和查詢語言也是非常強大。

 

不適用的場景

Promethus的價值在於它的可靠性。Prometheus不適用於對統計或分析數據100%准確要求的場景。

 

部署實戰

下面我會通過Docker Compose的方式部署整個Prometheus監控系統和Grafana展示數據。如果對Docker Compose還不熟悉的朋友，可以先查看我之前的介紹文章。

Prometheus的docker-compose.yml基於github的開源倉庫修改。docker-compose.yml內容如下：

version: '3.1'

volumes:
    prometheus_data: {}
    grafana_data: {}

services:

  prometheus:
    image: prom/prometheus:v2.1.0
    volumes:
      - ./prometheus/:/etc/prometheus/
      - prometheus_data:/prometheus
    command:
      - '--config.file=/etc/prometheus/prometheus.yml'
      - '--storage.tsdb.path=/prometheus'
      - '--web.console.libraries=/usr/share/prometheus/console_libraries'
      - '--web.console.templates=/usr/share/prometheus/consoles'
    ports:
      - 9090:9090
    restart: always

  node-exporter:
    image: prom/node-exporter
    volumes:
      - /proc:/host/proc:ro
      - /sys:/host/sys:ro
      - /:/rootfs:ro
    command: 
      - '--path.procfs=/host/proc' 
      - '--path.sysfs=/host/sys'
      - --collector.filesystem.ignored-mount-points
      - "^/(sys|proc|dev|host|etc|rootfs/var/lib/docker/containers|rootfs/var/lib/docker/overlay2|rootfs/run/docker/netns|rootfs/var/lib/docker/aufs)($$|/)"
    ports:
      - 9100:9100
    restart: always

  alertmanager:
    image: prom/alertmanager
    volumes:
      - ./alertmanager/:/etc/alertmanager/
    ports:
      - 9093:9093
    restart: always
    command:
      - '--config.file=/etc/alertmanager/config.yml'
      - '--storage.path=/alertmanager'

  grafana:
    image: grafana/grafana
    user: "104"
    ports:
      - 3000:3000
    depends_on:
      - prometheus
    volumes:
      - grafana_data:/var/lib/grafana
      - ./grafana/provisioning/:/etc/grafana/provisioning/
    env_file:
      - ./grafana/config.monitoring
    restart: always

從上面的docker-compose.yml可以看出，將通過Docker Compose部署Prometheus Server，Altermanager，Grafana，和node exporter。其中node exporter負責采集機器的基礎性能數據，例如CPU，MEM，DISK等等，通過暴露HTTP接口供Prometheus Server拉取數據做數據存儲和清洗。Grafana負責數據的展示。Prometheus通過配置文件靜態配置獲取node exporter的地址：

$ cat prometheus.yml 
# my global config
global:
  scrape_interval:     15s # By default, scrape targets every 15 seconds.
  evaluation_interval: 15s # By default, scrape targets every 15 seconds.
  # scrape_timeout is set to the global default (10s).

  # Attach these labels to any time series or alerts when communicating with
  # external systems (federation, remote storage, Alertmanager).
  external_labels:
      monitor: 'my-project'

# Load and evaluate rules in this file every 'evaluation_interval' seconds.
rule_files:
  - 'alert.rules'
  # - "first.rules"
  # - "second.rules"

# alert
alerting:
  alertmanagers:
  - scheme: http
    static_configs:
    - targets:
      - "alertmanager:9093"

# A scrape configuration containing exactly one endpoint to scrape:
# Here it's Prometheus itself.
scrape_configs:
  # The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.

  - job_name: 'prometheus'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s

    static_configs:
         - targets: ['localhost:9090']

  - job_name: 'node-exporter'

    # Override the global default and scrape targets from this job every 5 seconds.
    scrape_interval: 5s
    static_configs:
         - targets: ['node-exporter:9100']

其中40-45行是node-exporter的抓取地址和周期配置。因為Docker Compose會自動做服務地址解析，所以這里可以直接用node-exporter:9100作為地址。

通過Prometheus 9090端口可以查看到要采集的目標列表信息：

通過Grafana可以查看到node exporter采集上來的數據展示，其中Grafana用的看板模板是https://grafana.com/dashboards/8919

 

總結

文章開始分析了Prometheus開源監控系統的整體架構和特點，然后通過Docker Compose演示了整個系統的搭建。下一篇博客我將演示用Prometheus提供的Golang SDK從頭開始寫一個Expoter。

 

參考

https://prometheus.io/docs/introduction/overview/