上一節已經部署了容器化的 ELK,本節討論如何將日志導入 ELK 並進行圖形化展示。
幾乎所有的軟件和應用都有自己的日志文件,容器也不例外。前面我們已經知道 Docker 會將容器日志記錄到 /var/lib/docker/containers/<contariner ID>/<contariner ID>-json.log
,那么只要我們能夠將此文件發送給 ELK 就可以實現日志管理。
要實現這一步其實不難,因為 ELK 提供了一個配套小工具 Filebeat,它能將指定路徑下的日志文件轉發給 ELK。同時 Filebeat 很聰明,它會監控日志文件,當日志更新時,Filebeat 會將新的內容發送給 ELK。
安裝 Filebeat
下面在 Docker Host 中安裝和配置 Filebeat。
curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-5.4.0-amd64.debsudo dpkg -i filebeat-5.4.0-amd64.deb
當你看到這篇文章時,Filebeat 可能已經有了更新的版本,請參考最新的安裝文檔 https://www.elastic.co/guide/en/beats/filebeat/current/filebeat-installation.html
配置 Filebeat
Filebeat 的配置文件為 /etc/filebeat/filebeat.yml
,我們需要告訴 Filebeat 兩件事:
-
監控哪些日志文件?
-
將日志發送到哪里?
首先回答第一個問題。
在 paths
中我們配置了兩條路徑:
-
/var/lib/docker/containers/*/*.log
是所有容器的日志文件。 -
/var/log/syslog
是 Host 操作系統的 syslog。
接下來告訴 Filebeat 將這些日志發送給 ELK。
Filebeat 可以將日志發送給 Elasticsearch 進行索引和保存;也可以先發送給 Logstash 進行分析和過濾,然后由 Logstash 轉發給 Elasticsearch。
為了不引入過多的復雜性,我們這里將日志直接發送給 Elasticsearch。
如果要發送給 Logstash,可參考后半部分的注釋。
當前的日志處理流程如下圖所示:
啟動 Filebeat
Filebeat 安裝時已經注冊為 systemd 的服務,可以直接啟動服務。
systemctl start filebeat.service
管理日志
Filebeat 啟動后,正常情況下會將監控的日志發送給 Elasticsearch。刷新 Elasticsearch 的 JSON 接口 http://[Host IP]:9200/_search?pretty 進行確認。
這次我們能夠看到 filebeat-*
的 index
,以及 Filebeat 監控的那兩個路徑下的日志。
好,Elasticsearch 已經創建了日志的索引並保存起來,接下來是在 Kibana 中展示日志。
首先需要配置一個 index pattern
,即告訴 Kibana 查詢和分析 Elasticsearch 中的哪些日志。
指定 index pattern
為 filebeat-*
,這與 Elasticsearch 中的 index
一致。
Time-field name
選擇 @timestamp
。
點擊 Create
創建 index pattern
。
點擊 Kibana 左側 Discover
菜單,便可看到容器和 syslog 日志信息。
下面我們啟動一個新的容器,該容器將向控制台打印信息,模擬日志輸出。
docker run busybox sh -c 'while true; do echo "This is a log message from container busybox!"; sleep 10; done;'
刷新 Kibana 頁面或者點擊右上角 圖標,馬上就能看到 busybox 的日志。
Kibana 也提供了強大的查詢功能,比如輸入關鍵字 busybox
能搜索出所有匹配的日志條目。
我們這里只是簡單地將日志導入 ELK 並朴素地顯示出來,實際上 ELK 還可以對日志進行歸類匯總、分析聚合、創建炫酷的 Dashboard 等,可以挖掘的內容很多,玩法很豐富。由於這個教程的重點是容器,這里就不過多展開。下面這張圖可以感受一下 ELK 的能力,更多的功能留給大家自己去探索。
ELK 咱們就討論到這里,下一節學習 Fluentd。
書籍:
1.《每天5分鍾玩轉Docker容器技術》
https://item.jd.com/16936307278.html
2.《每天5分鍾玩轉OpenStack》
https://item.jd.com/12086376.html