企業級監控數據采集方法
作者聲明：本博客內容是作者在學習以及搭建過程中積累的內容，內容采自網絡中各位老師的優秀博客以及視頻，並根據作者本人的理解加以修改（由於工作以及學習中東拼西湊，如何造成無法提供原鏈接，在此抱歉！！！）
作者再次聲明：作者只是一個很摳腳的IT工作者，希望可以跟那些提供原創的老師們學習
服務端的安裝和后台穩定運行
運行方式
我們需要讓prometheus_server運行在后台而不是前端（客戶端退出后prometheus也退出了）
第一種： 安裝screen工具放入后台運運行
缺點：很容易被誤關閉 操作的時候 ctrl +ad / ctrl +d 不小心操作錯了直接就退出去了...
第二種： 使用daemonize放入后台方式
daemonize Unix系統后台守護進程管理軟件
優點：更加正規 后台運行更穩定
git clone git://github.com/bmc/daemonize.git
sh configure && make && sudo make install
daemonize -c /data/prometheus/ /data/prometheus/up.sh
-c 是指定運行路徑
/data/prometheus/up.sh 是運行路徑下的啟動腳本
/data/prometheus/prometheus --web.listen-address="0.0.0.0:9090" --web.read-timeout=5m --web.max-connections=10 --storage.tsdb.retention=15d --storage.tsdb.path="data/" --query.max-concurrency=20 --query.timeout=2m
啟動參數
./prometheus 在實際企業運行時啟動參數的合理配置
請求鏈接的最大等待時間
--web.read-timeout=5m
prometheus進程會建立很多的網絡鏈接GET PUSH，利用這個參數讓進程進行回收。防止 太多的空閑鏈接 占用資源
最大鏈接數
--web.max-connections=512
數據存儲時間
--storage.tsdb.retention=15d
prometheus開始采集監控數據后會存在內存中和硬盤中，對於保留期限的設置很重要太長的話硬盤和內存都吃不消，太短的話要查歷史數據就沒有了，企業中設置15天為宜。
存儲數據路徑
--storage.tsdb.path="data/"
存儲數據路徑 這個也很重要 不要隨便放在⼀個地⽅就執⾏ 會
把/根目錄塞滿了
用戶使用優化
--query.timeout=2m
--query.max-concurrency=20
上面這兩項是對用戶執行prometheus查詢時候的優化設置
防止太多的用戶同時查詢（20），也防止單個用戶執行過大的查詢卡住（2m）而一直不退出。
如上參數 配置上去后 prometheus運行就相對穩妥多了。
數據存放
其中這些長串字母的是歷史數據保留，而當前近期數據實際上保留在內存中，並且按照⼀定間隔存放在 wal / 目錄中 防止突然斷電 或者 重啟 以用來恢復內存中的數據。
服務端配置文件添加監控項
global:
scrape_interval: 15s #設置多少時間間隔采集⼀次數據
scrape_timeout: 15s
scrape_configs:
- job_name: 'prometheus' #配置⼀個job的標簽
static_configs:
- targets: ['localhost:9090'] #監控的主機
- job_name: 'node'
static_configs:
- targets: [‘server1:9100','server2:9100’,'sesrver3:9100']
node_exporter安裝和后台運行
運行方式
下載地址為 https://prometheus.io/download/#node_exporter
同樣適用daemonize放入被監控服務器后台運行，默認運行在9100端口
觀察和采集數據
針對這個node_exporter進行初步的手動查詢以確保正常獲取監控數據
本地查詢
curl localhost:9100/metrics #根據全局配置，15s獲取一次數據
node_exporter默認開啟和不開啟的監控項目
https://github.com/prometheus/node_exporter
查詢采集回來的各種數據