Prometheus 告警收斂

Prometheus 告警收斂

　　告警面臨最大問題，是警報太多，相當於狼來了的形式。收件人很容易麻木，不再繼續理會。關鍵的告警常常被淹沒。在一問題中，alertmanger在一定程度上得到很好解決。
　　Prometheus成功的把一條告警發給了Altermanager，而Altermanager並不是簡簡單單的直接發送出去，這樣就會導致告警信息過多，重要告警被淹沒。所以需要對告警做合理的收斂。

 

告警收斂手段：

• 分組（group）：將類似性質的警報分類為單個通知
  •        1、減少報警消息的熟練
  • 　　2、同類告警聚合幫助運維排查問題

• 抑制（Inhibition）：當警報發出后，停止重復發送由此警報引發的其他警報

• 配置文件：vim alertmanager.yml
   # inhibit_rules標記：降低告警收斂，減少報警，發送關鍵報警
   inhibit_rules:
     # source_match: 匹配當前告警發生后其他告警抑制掉
     - source_match:
         # severity: 指定告警級別
         severity: 'critical'
       # target_match:抑制告警
       target_match:
         # severity: 指定抑制告警級別
         severity: 'warning'
       # equal: 只有包含指定標簽才可成立規則
       equal: ['alertname', 'dev', 'instance']

  •        1、消除榮譽報警
• 靜默（Silences）：是一種簡單的特定時間靜音提醒的機制
  • 　　1、解決預期告警

 

---

創建靜默

• 訪問地址：http://www.xiangsikai.com:9093/#/alerts

1、創建靜默

2、填入開始結束時間，填寫標簽名稱，保存

3、查看創建靜默