ELK+Kafka+Beats實現海量日志收集平台(三)
六、將日志數據存儲到Elasticsearch
通過前面的步驟實現了日志數據的生產、收集和過濾。接下來就將收集之后的日志數據
信息持久化到ElasticSearch上,然后在結合Kibana最終顯示。
啟動ElasticSearch集群,之前提供的ES集群安裝鏈接是7.6.2版本,所以要自己替換版
本到6.6.0進行安裝,6.6.0的安裝配置和7.6.2版本的有些區別,配置信息如下:

搭建好之后的信息如下:

Elasticsearch Head 插件顯示如下:

七、Kibana展示
啟動Kibana,進如Kibana安裝過后的目錄下使用如下命令啟動
nohup ../bin/kibana &
緊接着來修改一下logstash的配置文件,在之前的基礎上我們將收集到的日志數據輸出
控制台上了,現在我們要將日志數據存儲到ES集群上。打開logstash配置文件添加如下:

在配置文件中,配置了輸出到Elasticsearch上。重啟logstash,可以看到啟動日志輸出
如下表明logstash連接ES成功。

接着通過訪問 /err 、/index兩個方法來產生日志信息,隨后利用Elasticsearch head插
件查看ES集群信息如下:

發現建立了兩個索引,err-log-demo-* 、all-log-demo-* 這兩個索引分別就是之前設置
的錯誤日志索引和全量日志索引。
再進入到Kibana界面查看,安裝下列步驟進入界面

隨后,看到如下界面:

創建index,比如all-log-demo* 如果有對應的索引就會進行匹配

接着下一步:

同理創建err-log-demo*,隨后按照如下操作進行查看:

查看的是err-log-demo*,這里其實就記錄了我們訪問demo.jar 的 /err 方法產生的那條
錯誤日志。

至此,咋們的ELK環境搭建及日志收集徹底實現了。
