0x00 概述
Grafana 是一個開源的，可以用於大規模指標數據的可視化項目，甚至還能對指標進行報警。基於友好的 Apache License 2.0 開源協議，目前是prometheus監控展示的首選。優點如下：
1.使用：
- 配置方便：支持Dashboard、Panel、Row等組合，且支持折線圖、柱狀圖等多種圖例
- 圖表漂亮：可以選擇暗黑系或純白系，你也可以自己定義顏色
- 模板很多：grafana模板很活躍，有很多用戶貢獻的面板，直接導入就能用
- 支持多種數據源：grafana作為展示面板，支持很多數據源，如Graphite、ES、Prometheus等
- 權限管理簡單：有admin、viewer等多種角色管控
2.二次開發：
如果默認的grafana不能滿足你的需求，要二次開發，官方也提供了很多支持：
- 協議為Apache License 2.0：商業友好，隨便改吧，改完拿去賣也行。
- 完善的API調用：權限、面板、用戶、報警都支持api調用。
- 多種鑒權方式：OAuth、LADP、Proxy多種方式，你可以接入自己公司的鑒權系統
- 插件開發：如果你不想直接改代碼，可以做自己的插件
- go+Angular+react：常用的技術棧，方便二次開發
prometheus + grafana 做為監控組合很方便，很強大，改造了鑒權之后更加香。一開始我們還嘗試使用grafana自帶的報警功能，可惜比較雞肋，無法用於生產，報警的issue一大堆官方也不想修改，作罷
0x01 Grafana-k8s部署
步驟一：安裝grafana
Grafana提供了很多種部署方式，如果你的展示報警是在K8S集群外，可以二進制直接部署，如果grafana本身在集群內，或者管理端也是k8s集群，可以用yaml部署：
Deployment配置：
apiVersion: apps/v1 kind: Deployment metadata: namespace: kube-system name: grafana spec: replicas: 1 selector: matchLabels: app: grafana template: metadata: namespace: kube-system annotations: grafana-version: '1.0' name: grafana labels: app: grafana spec: containers: - name: grafana image: grafana/grafana:5.1.0 imagePullPolicy: Always securityContext: runAsUser: 0 env: - name: GF_SECURITY_ADMIN_PASSWORD value: "admin" ports: - name: grafana containerPort: 3000 resources: requests: memory: "100Mi" cpu: "100m" limits: memory: "2048Mi" cpu: "1024m"
Service配置：
apiVersion: v1 kind: Service metadata: namespace: kube-system name: grafana annotations: prometheus.io/scrape: 'true' labels: name: grafana spec: selector: app: grafana type: LoadBalancer ports: - name: grafana protocol: TCP port: 3000
grafana配置文件的字段含義：
app_mode：應用名稱，默認是production [path] data：一個grafana用來存儲sqlite3、臨時文件、回話的地址路徑 logs：grafana存儲logs的路徑 [server] http_addr：監聽的ip地址，，默認是0.0.0.0 http_port：監聽的端口，默認是3000 protocol：http或者https，，默認是http domain：這個設置是root_url的一部分，當你通過瀏覽器訪問grafana時的公開的domian名稱，默認是localhost enforce_domain：如果主機的header不匹配domian，則跳轉到一個正確的domain上，默認是false root_url：這是一個web上訪問grafana的全路徑url，默認是%(protocol)s://%(domain)s:%(http_port)s/ router_logging：是否記錄web請求日志，默認是false cert_file：如果使用https則需要設置 cert_key：如果使用https則需要設置 [database] grafana默認需要使用數據庫存儲用戶和dashboard信息，默認使用sqlite3來存儲，你也可以換成其他數據庫 type：可以是mysql、postgres、sqlite3，默認是sqlite3 path：只是sqlite3需要，定義sqlite3的存儲路徑 host：只是mysql、postgres需要，默認是127.0.0.1:3306 name：grafana的數據庫名稱，默認是grafana user：連接數據庫的用戶 password：數據庫用戶的密碼 ssl_mode：只是postgres使用 [security] admin_user：grafana默認的admin用戶，默認是admin admin_password：grafana admin的默認密碼，默認是admin login_remember_days：多少天內保持登錄狀態 secret_key：保持登錄狀態的簽名 disable_gravatar： [users] allow_sign_up：是否允許普通用戶登錄，如果設置為false，則禁止用戶登錄，默認是true，則admin可以創建用戶，並登錄grafana allow_org_create：如果設置為false，則禁止用戶創建新組織，默認是true auto_assign_org：當設置為true的時候，會自動的把新增用戶增加到id為1的組織中，當設置為false的時候，新建用戶的時候會新增一個組織 auto_assign_org_role：新建用戶附加的規則，默認是Viewer，還可以是Admin、Editor [auth.anonymous] enabled：設置為true，則開啟允許匿名訪問，默認是false org_name：為匿名用戶設置組織名稱 org_role：為匿名用戶設置的訪問規則，默認是Viewer [auth.github] 針對github項目的，很明顯，呵呵 enabled = false allow_sign_up = false client_id = some_id client_secret = some_secret scopes = user:email auth_url = https://github.com/login/oauth/authorize token_url = https://github.com/login/oauth/access_token api_url = https://api.github.com/user team_ids = allowed_domains = allowed_organizations = [auth.google] 針對google app的，呵呵 enabled = false allow_sign_up = false client_id = some_client_id client_secret = some_client_secret scopes = https://www.googleapis.com/auth/userinfo.profile https://www.googleapis.com/auth/userinfo.email auth_url = https://accounts.google.com/o/oauth2/auth token_url = https://accounts.google.com/o/oauth2/token api_url = https://www.googleapis.com/oauth2/v1/userinfo allowed_domains = [auth.basic] enabled：當設置為true，則http api開啟基本認證 [auth.ldap] enabled：設置為true則開啟LDAP認證，默認是false config_file：如果開啟LDAP，指定LDAP的配置文件/etc/grafana/ldap.toml [auth.proxy] 允許你在一個HTTP反向代理上進行認證設置 enabled：默認是false header_name：默認是X-WEBAUTH-USER header_property：默認是個名稱username auto_sign_up：默認是true。開啟自動注冊，如果用戶在grafana DB中不存在 [analytics] reporting_enabled：如果設置為true，則會發送匿名使用分析到stats.grafana.org，主要用於跟蹤允許實例、版本、dashboard、錯誤統計。默認是true google_analytics_ua_id：使用GA進行分析，填寫你的GA ID即可 [dashboards.json] 如果你有一個系統自動產生json格式的dashboard，則可以開啟這個特性試試 enabled：默認是false path：一個全路徑用來包含你的json dashboard，默認是/var/lib/grafana/dashboards [session] provider：默認是file，值還可以是memory、mysql、postgres provider_config：這個值的配置由provider的設置來確定，如果provider是file，則是data/xxxx路徑類型，如果provider是mysql，則是user:password@tcp(127.0.0.1:3306)/database_name，如果provider是postgres，則是user=a password=b host=localhost port=5432 dbname=c sslmode=disable cookie_name：grafana的cookie名稱 cookie_secure：如果設置為true，則grafana依賴https，默認是false session_life_time：session過期時間，默認是86400秒，24小時 以下是官方文檔沒有，配置文件中有的 [smtp] enabled = false host = localhost:25 user = password = cert_file = key_file = skip_verify = false from_address = admin@grafana.localhost [emails] welcome_email_on_sign_up = false templates_pattern = emails/*.html [log] mode：可以是console、file，默認是console、file，也可以設置多個，用逗號隔開 buffer_len：channel的buffer長度，默認是10000 level：可以是"Trace", "Debug", "Info", "Warn", "Error", "Critical"，默認是info [log.console] level：設置級別 [log.file] level：設置級別 log_rotate：是否開啟自動輪轉 max_lines：單個日志文件的最大行數，默認是1000000 max_lines_shift：單個日志文件的最大大小，默認是28，表示256MB daily_rotate：每天是否進行日志輪轉，默認是true max_days：日志過期時間，默認是7,7天后刪除
注意的幾個點：
- 對所有的資源都做request、limit限制，防止耗盡主機資源
- grafana的一些配置可以通過變量傳入：如admin的密碼GF_SECURITY_ADMIN_PASSWORD
- 如果要對grafana的數據進行持久化，建議掛volume或者外部存儲，持久化的內容一般都是面板配置。監控面板的配置可以導入導出
- securityContext：因為版本問題，如果提示grafana的權限不足，可以配置runAsUser: 0
創建了grafana之后，可以通過service暴露的端口地址查看頁面:
登錄成功后，會顯示需要初始化的內容
步驟二：配置數據源
grafana支持多種數據源，可以在“type”的下拉框選項中看到，這里我們選擇prometheus作為數據源。HTTP的訪問方式選擇proxy，URL填寫grafana能訪問到的地址。
因為grafana和prometheus都在同一個k8s集群中，這里用svc地址
點擊“save and test”測試連接性。
步驟三：創建面板
有了數據源，接下來就是如何更好地展示數據，grafana支持多種類型的圖表，如Graph、singlestat、Table等。可以組合出多種形式。這里先創建一個Demo，保存現有模板的快捷鍵是Ctrl + S
你的所有面板都可以在左上角的下拉框中找到：
我們還可以導入現有的面板（Dashboard），大家貢獻的模板地址：https://grafana.com/dashboards
選擇左上角的➕號，然后import，有兩種形式的導入：
- URL直接導入：粘貼對應模板的url，前提是grafana必須能訪問外網。
- 上傳json文件：一般是遷移時使用，把現有的json導出，再導入
grafana的面板、圖表有很多配置，接下來我們說幾個常用的配置項
0x02 常用配置
示例：K8S的節點數量趨勢圖
編輯圖表時默認進入的是Metric，內容包括：
- Data Source：填寫剛剛配置過的數據源的名稱，這里是prometheus
- A和B指的是這張圖有幾條線，這里是A一條線、右側的小眼睛代表是否隱藏該線
- A線中，輸入框填寫的是查詢語句，這里指合法的promsql，legend format指A線的顯示名稱
除了Metric之外，還有幾個選項，含義分別是：
- General：一般是將其他項都配置好后再回頭設置General，而在General配置標簽中一般只會用到“Title”，就是圖表的標題，如這里的Node數量
Title：圖表標題；
Description：圖表描述；
Span：圖表間隔，無需設定，在前端可手動調整圖表大小；
Height：圖表高度，無需設定，在前端可手動調整圖表高度；
Transparent：背景是否透明，默認情況下不勾選，如果覺得不需要深灰色背景，可以勾選此項；
Templating和Drilldown / detail link用處不大，忽略即可。
- Metric：比較重要，配指標表達式和指標線的地方，上邊已經舉例
- Axes：配置數據軸的地方，如偏移縮放，格式轉換
- Legend：圖例，是否限制以及顯示的方式
- Display: 展示相關的配置，如線條寬度，排序方式、空值處理
- Alert: 報警配置，grafana算是少有的展示圖表支持報警的，但他的報警只支持到單圖表，無法嵌套模板，有點雞肋。如左上角有篩選node的下拉框，圖表又傳入了變量時，如果配置報警，是配置失敗的。報錯為：“Template variables are not supported in alert queries”
- TimeRange: 配置單圖表的展示時間，如24h內的數據
Override relative time: 覆蓋右上角選擇的時間，設置要顯示的時間范圍，這里我設置24h（單位自己可選）。
Add time shift: 這里是偏移量設置，比如填寫2h表示不顯示最近2h的數據。
Hide time ocerride info: 上邊相對時間設置之后在graph中會顯示本圖表的時間信息，在此處選擇后可以把顯示的信息隱藏掉
更多詳細的配置可以查看：https://grafana.com/docs/features/panels/graph/
變量配置：
對於一些復雜場景，可能需要傳入變量，如有多台機器，每台機器都要展示其cpu內存等指標。而機器列表又是動態的，這個時候就可以使用變量，示例：
首先在該面板的setting中選擇variables，注意是該面板的設置，不是全局設置
填寫名稱，下拉框選項的數據獲取表達式，刷新周期，是否有ALL選項等，然后保存
接下來在具體的圖表中使用該變量
在metric中，將變量$Node寫在表達式中做匹配即可。
grafana的變量支持高級匹配，如$Node.*代表以Node開頭的字符，利用變量的方式，可以實現多級篩選，滿足更復雜的需求，如pod資源的查看
關於變量的更多信息：what-is-a-variable
0x03 報警配置
grafana在v4.0版本開始引入了報警功能。
還是以Node節點數為例，我們配置一條規則：
當可用節點數小於3時，報警給demo@126.com
alert支持avg、sum等表達式，不過持續時間依賴數據本身的采集頻率。需要多測試一下。
Notifications：配置報警的收件組和詳細內容。而報警收件人的配置在專門的Alerting頁面上
Alert Rules：已經配置的報警規則，並展示其觸發狀態。
報警郵件的樣式：
模板變量報警
以上的報警配置方式只適合沒有變量傳入的圖表，如果遇到上邊提到的選擇node，傳入變量的圖表，就沒辦法支持了。
相關issue：https://github.com/grafana/gr...
官方對這個功能解釋了一堆，最新版本仍然沒有支持。借用issue的一句話哈哈哈
It would be grate to add templates support in alerts. Otherwise the feature looks useless a bit.
本文為容器監控實踐系列文章，完整內容見：container-monitor-book