k8s集群搭建EFK（ElasticSearch + Fluentd + Kibana）日志平台、以及基本使用

k8s集群

kubectl get node

 

EFK簡介

ElasticSearch：分布式存儲檢索引擎，用來搜索、存儲日志

Fluentd：日志采集

Kibana：讀取es中數據進行可視化web界面展示

 

下載

https://github.com/kubernetes/kubernetes/tree/master/cluster/addons/fluentd-elasticsearch

https://github.com/kubernetes/kubernetes/tree/release-1.22/cluster/addons

 

安裝

進入efk目錄：cd efk/

 

創建EFK所用的命名空間：kubectl create -f create-logging-namespace.yaml

 

創建es-service：kubectl create -f es-service.yaml

 

創建es集群：kubectl create -f es-statefulset.yaml

 

查看pod：kubectl get po -n logging

 

創建kibana：kubectl create -f kibana-deployment.yaml -f kibana-service.yaml

 

查看kibana服務：kubectl get svc -n logging

暴露的端口為30338

 

創建fluentd：kubectl create -f fluentd-es-ds.yaml -f fluentd-es-configmap.yaml

 

查看pod狀態：kubectl get po -n logging

確認均為1/1

 

使用

訪問kibana：http://192.168.117.161:30338/kibana

192.168.117.161:30338/kibana

 

 

添加數據

 

創建索引 

 

自動讀取到索引

 

輸入：logstash*，會顯示匹配到的資源

 

 

Discover

 

效果

 

驗證

看日志：kubectl logs product-78fcbdfd6b-l9ffp -n test

隨便找一行日志

2021-11-09 14:35:19.207 ERROR 7 --- [  XNIO-2 task-1] io.undertow.request                      : UT005023: Exception handling request to /queryAllProduct

 

搜索

 

搜索結果包含我們要查找的日志

 

展開看詳情，可以根據容器名、主機名、應用標簽、名稱空間、pod名稱等來查找

 

選擇添加條件

 

 

也可以修改條件

 

圖表

創建餅圖

 

更多日志統計圖表：【bak】https://www.cnblogs.com/uncleyong/p/15532928.html

 

原文：https://www.cnblogs.com/uncleyong/p/15527484.html

 

【性能項目實戰：jmeter+k8s+微服務+skywalking+efk】匯總

詳見：https://www.cnblogs.com/uncleyong/p/15475614.html