之前在業務中遇到服務器負載過高問題,由於沒有監控,一直沒發現,直到業務方反饋網站打開速度慢,才發現問題。這樣顯得開發很被動。所以是時候搭建一套監控系統了。
由於是業余時間自己捯飭,所以神馬業務層面的監控先不做,先用最簡單的方式接入系統層面的監控,例如服務器、數據庫等。
調研了一段時間,發現Prometheus+Grafana還是可以的。這里就主要記錄一下搭建的過程。
基本概念
Prometheus
時間序列化數據庫,我的理解就是將數據打上標簽,以時間維度存儲。后面有機會在深入研究。
Grafana
Prometheus中存儲的數據,通過Grafana很優美的展現出來。
好就講這么多,多了我也不懂。。
軟件安裝
Prometheus
官網下載(https://prometheus.io/),支持Linux、Mac、Windows系統,很好很強大。我這里安裝過Centos和Mac,這里的實例以Mac為准。
1. Mac下載的發行版為darwin版;
2. 下載下來解壓縮就好,我得到的版本(2.0.0)內容如下:
3. 目錄下的prometheus可以直接啟動,然后通過localhost:9090端口訪問,但是由於沒有配置exporter來導入數據,暫時是沒有數據的。
安裝exporter
prometheus可以理解為一個數據庫+數據抓取工具,工具從各處抓來統一的數據,放入prometheus這一個時間序列數據庫中。那如何保證各處的數據格式是統一的呢?就是通過這個exporter。exporter也是用GO寫的程序,它開放一個http接口,對外提供格式化的數據。所以在不同的環境下,需要編寫不同的exporter。好在已經有很多寫好的exporter,我們可以直接使用,(本句是一句廢話為了更好的排版顯示)(https://github.com/prometheus這里可以找到很多exporter)我們這里直接使用mysqld_exporter(prometheus.io/download/#mysqld_exporter)。當然也要下載對應系統的版本。解壓后的內容如下:
這里的mysqld_exporter是啟動文件,.my.cnf是配置文件。想要正確的導出mysql的狀態數據,必須在配置文件中正確的配置mysql的連接信息。我的配置如下:
配置好了,就可以啟動了。成功如下所示:
通過localhost:9104,就可以看到exporter導出的數據了:
在Prometheus中配置mysqld_exporter
exporter啟動了,需要在Prometheus中正確的配置。修改prometheus目錄中的prometheus.yml,增加配置如下:
重啟prometheus,點擊導航欄中的status->targets可以看到,mysql的exporter已經集成進來了。
至此,prometheus這邊的搭建基本完成了。
安裝Grafana
Grafana官網(https://grafana.com/),上面有各個系統安裝的步驟,我的mac是直接通過brew安裝的(如果你的brew太慢,可以換成國內的源試一下)。安裝后用brew services start grafana
啟動即可。啟動后,即可通過http://127.0.0.1:3000/來訪問了(默認賬號密碼是admin/admin)。進來之后應該看到這個頁面:
首先,你要添加一個數據源,將Grafana和Prometheus關聯起來。點擊Add data source,如下填寫數據保存即可:
看到如下的提示,說明你的prometheus工作是正常的:
接着回到首頁,你需要添加一個dashboard,如下圖進入dashboard導入頁面:
這里你需要從https://github.com/percona/grafana-dashboards項目中的dashboards下載MySQL_Overview.json,然后通過上面頁面的Upload .json File按鈕上傳上去,導入即可。
導入成功后,你將看到監控頁面,大功告成!!!