ELK+Kafka+Beats實現海量日志收集平台(三)


          ELK+Kafka+Beats實現海量日志收集平台(三)

 

六、將日志數據存儲到Elasticsearch

  通過前面的步驟實現了日志數據的生產、收集和過濾。接下來就將收集之后的日志數據

 信息持久化到ElasticSearch上,然后在結合Kibana最終顯示。

  啟動ElasticSearch集群,之前提供的ES集群安裝鏈接是7.6.2版本,所以要自己替換版

 本到6.6.0進行安裝,6.6.0的安裝配置和7.6.2版本的有些區別,配置信息如下:  

       

  搭建好之后的信息如下:

  

  Elasticsearch Head 插件顯示如下:

  

七、Kibana展示  

  啟動Kibana,進如Kibana安裝過后的目錄下使用如下命令啟動

     nohup ../bin/kibana & 

  緊接着來修改一下logstash的配置文件,在之前的基礎上我們將收集到的日志數據輸出

 控制台上了,現在我們要將日志數據存儲到ES集群上。打開logstash配置文件添加如下:

  

  在配置文件中,配置了輸出到Elasticsearch上。重啟logstash,可以看到啟動日志輸出

 如下表明logstash連接ES成功。

  

  接着通過訪問 /err 、/index兩個方法來產生日志信息,隨后利用Elasticsearch head插

 件查看ES集群信息如下:

  

  發現建立了兩個索引,err-log-demo-* 、all-log-demo-* 這兩個索引分別就是之前設置

 的錯誤日志索引和全量日志索引。

  再進入到Kibana界面查看,安裝下列步驟進入界面

  

  隨后,看到如下界面:

  

  創建index,比如all-log-demo* 如果有對應的索引就會進行匹配

  

  接着下一步:

  

  同理創建err-log-demo*,隨后按照如下操作進行查看:

  

  查看的是err-log-demo*,這里其實就記錄了我們訪問demo.jar 的 /err 方法產生的那條

 錯誤日志。

  

  至此,咋們的ELK環境搭建及日志收集徹底實現了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM