從零開始搭建Prometheus+Grafana+AlertManager自動監控報警系統（不推薦docker方式安裝）

什么是Prometheus?

Prometheus是由SoundCloud開發的開源監控報警系統和時序列數據庫(TSDB)。Prometheus使用Go語言開發，是Google BorgMon監控系統的開源版本。
2016年由Google發起Linux基金會旗下的原生雲基金會(Cloud Native Computing Foundation), 將Prometheus納入其下第二大開源項目。
Prometheus目前在開源社區相當活躍。
Prometheus和Heapster(Heapster是K8S的一個子項目，用於獲取集群的性能數據。)相比功能更完善、更全面。Prometheus性能也足夠支撐上萬台規模的集群。

Prometheus的特點

• 多維度數據模型。
• 靈活的查詢語言。
• 不依賴分布式存儲，單個服務器節點是自主的。
• 通過基於HTTP的pull方式采集時序數據。
• 可以通過中間網關進行時序列數據推送。
• 通過服務發現或者靜態配置來發現目標服務對象。
• 支持多種多樣的圖表和界面展示，比如Grafana等。

官網地址：https://prometheus.io/

架構圖

基本原理

Prometheus的基本原理是通過HTTP協議周期性抓取被監控組件的狀態，任意組件只要提供對應的HTTP接口就可以接入監控。不需要任何SDK或者其他的集成過程。這樣做非常適合做虛擬化環境監控系統，比如VM、Docker、Kubernetes等。輸出被監控組件信息的HTTP接口被叫做exporter 。目前互聯網公司常用的組件大部分都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系統信息(包括磁盤、內存、CPU、網絡等等)。

服務過程

• Prometheus Daemon負責定時去目標上抓取metrics(指標)數據，每個抓取目標需要暴露一個http服務的接口給它定時抓取。Prometheus支持通過配置文件、文本文件、Zookeeper、Consul、DNS SRV Lookup等方式指定抓取目標。Prometheus采用PULL的方式進行監控，即服務器可以直接通過目標PULL數據或者間接地通過中間網關來Push數據。
• Prometheus在本地存儲抓取的所有數據，並通過一定規則進行清理和整理數據，並把得到的結果存儲到新的時間序列中。
• Prometheus通過PromQL和其他API可視化地展示收集的數據。Prometheus支持很多方式的圖表可視化，例如Grafana、自帶的Promdash以及自身提供的模版引擎等等。Prometheus還提供HTTP API的查詢方式，自定義所需要的輸出。
• node_exposter通過抓取客戶機的信息（pull）
• PushGateway支持Client主動推送metrics到PushGateway，而Prometheus只是定時去Gateway上抓取數據。(push)
• Alertmanager是獨立於Prometheus的一個組件，可以支持Prometheus的查詢語句，提供十分靈活的報警方式。

主要組件

• Server 主要負責數據采集和存儲，提供PromQL查詢語言的支持。
• node_exposter收集主機信息
• Alertmanager 警告管理器，用來進行報警。
• Push Gateway 支持臨時性Job主動推送指標的中間網關。

安裝准備

這里我的服務器IP是10.211.55.25，登入，建立相應文件夾

mkdir -p /home/chenqionghe/promethues mkdir -p /home/chenqionghe/promethues/server mkdir -p /home/chenqionghe/promethues/client touch /home/chenqionghe/promethues/server/rules.yml chmod 777 /home/chenqionghe/promethues/server/rules.yml

下面開始三大套件的學習

一.安裝Prometheus Server

1）首先從傳統的虛擬機上安裝和部署

     參考官網

     https://prometheus.io/docs/introduction/first_steps/

    從官網上下載最新的安裝包

    wget https://github.com/prometheus/prometheus/releases/download/v2.12.0-rc.0/prometheus-2.12.0-rc.0.linux-amd64.tar.gz

2）通過docker方式
首先創建一個配置文件/home/chenqionghe/prometheus/sever/prometheus.yml
掛載之前需要改變文件權限為777，要不會引起修改宿主機上的文件內容不同步的問題

執行命令：chmod 777 prometheus.yml

global:  scrape_interval: 15s # 默認抓取間隔, 15秒向目標抓取一次數據。  external_labels:  monitor: 'codelab-monitor' # 這里表示抓取對象的配置 scrape_configs: #這個配置是表示在這個配置內的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽 - job_name: 'prometheus'  scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒  static_configs:  - targets: ['localhost:9090']

運行

docker rm -f prometheus docker run --name=prometheus -d \ -p 9090:9090 \ -v /home/chenqionghe/promethues/server/prometheus.yml:/etc/prometheus/prometheus.yml \ -v /home/chenqionghe/promethues/server/rules.yml:/etc/prometheus/rules.yml \ prom/prometheus:v2.7.2 \ --config.file=/etc/prometheus/prometheus.yml \ --web.enable-lifecycle

啟動時加上--web.enable-lifecycle啟用遠程熱加載配置文件
調用指令是curl -X POST http://localhost:9090/-/reload

訪問http://10.211.55.25:9090
我們會看到如下l界面

訪問http://10.211.55.25:9090/metrics

我們配置了9090端口，默認prometheus會抓取自己的/metrics接口
在Graph選項已經可以看到監控的數據

二.安裝客戶端提供metrics接口

1.通過golang客戶端提供metrics

mkdir -p /home/chenqionghe/promethues/client/golang/src
cd !$ export GOPATH=/home/chenqionghe/promethues/client/golang/ #克隆項目 git clone https://github.com/prometheus/client_golang.git #安裝需要FQ的第三方包 mkdir -p $GOPATH/src/golang.org/x/ cd !$ git clone https://github.com/golang/net.git git clone https://github.com/golang/sys.git git clone https://github.com/golang/tools.git

#需要安裝go語言環境（已經有的可以忽略）

wget https://dl.google.com/go/go1.10.3.linux-amd64.tar.gz

#解壓到/usr/local目錄下

tar -C /usr/local -zxvf  go1.10.3.linux-amd64.tar.gz 

#添加/usr/loacl/go/bin目錄到PATH變量中。添加到/etc/profile 或$HOME/.profile都可以

vim /etc/profile
// 在最后一行添加
export GOROOT=/usr/local/go
export PATH=$PATH:$GOROOT/bin
// wq保存退出后source一下
source /etc/profile
#執行go version，如果現實版本號，則Go環境安裝成功。
#安裝好了go，執行下面語句：

#安裝必要軟件包 
go get -u -v github.com/prometheus/client_golang/prometheus (如果本條命令安裝不成功，那么就直接下載client_golang倉庫zip格式文件，然后解壓，將文件命令改為client_golang,然后執行下面的編譯步驟)

#編譯 

cd $GOPATH/src/client_golang/examples/random 
go build -o random main.go

運行3個示例metrics接口

./random -listen-address=:8080 & ./random -listen-address=:8081 & ./random -listen-address=:8082 &

2.通過node exporter提供metrics

docker run -d \
--name=node-exporter \ -p 9100:9100 \ prom/node-exporter

然后把這兩些接口再次配置到prometheus.yml, 重新載入配置curl -X POST http://localhost:9090/-/reload

global:  scrape_interval: 15s # 默認抓取間隔, 15秒向目標抓取一次數據。  external_labels:  monitor: 'codelab-monitor' rule_files: #- 'prometheus.rules' # 這里表示抓取對象的配置 scrape_configs: #這個配置是表示在這個配置內的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽 - job_name: 'prometheus'  - job_name: 'prometheus'  scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒  static_configs:  - targets: ['localhost:9090']  - targets: ['http://10.211.55.25:8080', 'http://10.211.55.25:8081','http://10.211.55.25:8082']  labels:  group: 'client-golang'  - targets: ['http://10.211.55.25:9100']  labels:  group: 'client-node-exporter' 

可以看到接口都生效了

prometheus還提供了各種exporter工具，感興趣小伙伴可以去研究一下

三.安裝pushgateway

pushgateway是為了允許臨時作業和批處理作業向普羅米修斯公開他們的指標。
由於這類作業的存在時間可能不夠長, 無法抓取到, 因此它們可以將指標推送到推網關中。
Prometheus采集數據是用的pull也就是拉模型，這從我們剛才設置的5秒參數就能看出來。但是有些數據並不適合采用這樣的方式，對這樣的數據可以使用Push Gateway服務。
它就相當於一個緩存，當數據采集完成之后，就上傳到這里，由Prometheus稍后再pull過來。
我們來試一下，首先啟動Push Gateway

mkdir -p /home/chenqionghe/promethues/pushgateway cd !$ docker run -d -p 9091:9091 --name pushgateway prom/pushgateway

訪問http://10.211.55.25:9091 可以看到pushgateway已經運行起來了

接下來我們就可以往pushgateway推送數據了，prometheus提供了多種語言的sdk，最簡單的方式就是通過shell

• 推送一個指標

echo "cqh_metric 100" | curl --data-binary @- http://ubuntu-linux:9091/metrics/job/cqh

• 推送多個指標

cat <<EOF | curl --data-binary @- http://10.211.55.25:9091/metrics/job/cqh/instance/test # 鍛煉場所價格 muscle_metric{label="gym"} 8800 # 三大項數據 kg bench_press 100 dead_lift 160 deep_squal 160 EOF

然后我們再將pushgateway配置到prometheus.yml里邊,重載配置
看到已經可以搜索出剛剛推送的指標了

四.安裝Grafana展示

Grafana是用於可視化大型測量數據的開源程序，它提供了強大和優雅的方式去創建、共享、瀏覽數據。
Dashboard中顯示了你不同metric數據源中的數據。
Grafana最常用於因特網基礎設施和應用分析，但在其他領域也有用到，比如：工業傳感器、家庭自動化、過程控制等等。
Grafana支持熱插拔控制面板和可擴展的數據源，目前已經支持Graphite、InfluxDB、OpenTSDB、Elasticsearch、Prometheus等。

我們使用docker安裝

docker run -d -p 3000:3000 --name grafana grafana/grafana

默認登錄賬戶和密碼都是admin，進入后界面如下

我們添加一個數據源

把Prometheus的地址填上

導入prometheus的模板

打開左上角選擇已經導入的模板會看到已經有各種圖

我們來添加一個自己的圖表



指定自己想看的指標和關鍵字，右上角保存

看到如下數據

到這里我們就已經實現了數據的自動收集和展示，下面來說下prometheus如何自動報警

五.安裝AlterManager

Pormetheus的警告由獨立的兩部分組成。
Prometheus服務中的警告規則發送警告到Alertmanager。
然后這個Alertmanager管理這些警告。包括silencing, inhibition, aggregation，以及通過一些方法發送通知，例如：email，PagerDuty和HipChat。
建立警告和通知的主要步驟：

• 創建和配置Alertmanager
• 啟動Prometheus服務時，通過-alertmanager.url標志配置Alermanager地址，以便Prometheus服務能和Alertmanager建立連接。

創建和配置Alertmanager

mkdir -p /home/chenqionghe/promethues/alertmanager cd !$

創建配置文件alertmanager.yml

global: resolve_timeout: 5m route: group_by: ['cqh'] group_wait: 10s #組報警等待時間 group_interval: 10s #組報警間隔時間 repeat_interval: 1m #重復報警間隔時間 receiver: 'web.hook' receivers: - name: 'web.hook' webhook_configs: - url: 'http://10.211.55.2:8888/open/test' inhibit_rules: - source_match: severity: 'critical' target_match: severity: 'warning' equal: ['alertname', 'dev', 'instance']

這里配置成了web.hook的方式，當server通知alertmanager會自動調用webhook http://10.211.55.2:8888/open/test

下面運行altermanager

docker rm -f alertmanager docker run -d -p 9093:9093 \ --name alertmanager \ -v /home/chenqionghe/promethues/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml \ prom/alertmanager

訪問http://10.211.55.25:9093

接下來修改Server端配置報警規則和altermanager地址
修改規則/home/chenqionghe/promethues/server/rules.yml

groups:  - name: cqh  rules:  - alert: cqh測試  expr: dead_lift > 150  for: 1m  labels:  status: warning  annotations:  summary: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"  description: "{{$labels.instance}}:硬拉超標！lightweight baby!!!"

這條規則的意思是，硬拉超過150公斤，持續一分鍾，就報警通知
然后再修改prometheus添加altermanager配置

global:  scrape_interval: 15s # 默認抓取間隔, 15秒向目標抓取一次數據。  external_labels:  monitor: 'codelab-monitor' rule_files:  - /etc/prometheus/rules.yml # 這里表示抓取對象的配置 scrape_configs: #這個配置是表示在這個配置內的時間序例，每一條都會自動添加上這個{job_name:"prometheus"}的標簽 - job_name: 'prometheus'  - job_name: 'prometheus'  scrape_interval: 5s # 重寫了全局抓取間隔時間，由15秒重寫成5秒  static_configs:  - targets: ['localhost:9090']  - targets: ['10.211.55.25:8080', '10.211.55.25:8081','10.211.55.25:8082']  labels:  group: 'client-golang'  - targets: ['10.211.55.25:9100']  labels:  group: 'client-node-exporter'  - targets: ['10.211.55.25:9091']  labels:  group: 'pushgateway' alerting:  alertmanagers:  - static_configs:  - targets: ["10.211.55.25:9093"]

重載prometheus配置，規則就已經生效
接下來我們觀察grafana中數據的變化

然后我們點擊prometheus的Alert模塊，會看到已經由綠->黃-紅，觸發了報警

然后我們再來看看提供的webhook接口，這里的接口我是用的golang寫的，接到數據后將body內容報警到釘釘

釘釘收到報警內容如下

到這里，從零開始搭建Prometheus實現自動監控報警就說介紹完了，一條龍服務，自動抓取接口+自動報警+優雅的圖表展示，你還在等什么，趕緊high起來！

參考：https://www.cnblogs.com/carl007/p/11356340.html