elk日志分析系統搭建步驟及配置實戰(詳細版)


1.   整體方案圖

2.   搭建步驟

(一).filebeat搭建步驟

       (1). 官網下載filebeat 7.6.1版本tar包.

       官網下載地址:https://www.elastic.co/cn/downloads

 

 

 

 

圖1.1 進入官網下載地址,點擊beats的下載按鈕。

 

 

圖1.2 點擊filebeat的download。

 

圖1.3 選擇適合的版本下載,我這里選擇64位linux的版本。

 

(2.)在目標服務器創建elk文件夾,將filebeat的tar包文件通過ftp工具復制進去並解壓。(目標服務器就是需要采集的日志所在的服務器,filebeat可以在不同服務器搭建多個進行采集)

 

 

(3.)進入filebeat文件夾,修改filebeat.yml配置文件。

 

配置如下:

filebeat.inputs:

- type: log

  enabled: true                                              #true為啟用,默認為true

  paths:

- /home/nmc/backend/*/log/*.log      #填入要采集的日志文件地址,*為匹配符。

 

output.logstash:

  hosts: ["localhost:5044"]         #輸出的logstash的地址,此處代表輸出到本地的logstash

 

(二).logstash搭建步驟

(1). 官網下載logstash 7.6.1版本tar包.

       官網下載地址:https://www.elastic.co/cn/downloads

 

圖2.1 選擇logstash下載,下載步驟參照filebeat的下載。

 

(2.)將logstash的tar包文件通過ftp工具復制進去elk文件夾並解壓。

(3.)進入logstash的config文件夾,修改配置文件logstash-sample.conf。

配置文件如下:

input {

  beats {                                   #意思是用beats輸入到logstash

    port => 5044

  }

}

 

output {

   elasticsearch {                       #輸出到elasticsearch

     hosts => ["http://localhost:9200"]

   }

}

(4.)logstash有很多的過濾器插件,可以根據需要在配置文件中配置使用。

 

(三). elasticsearch搭建步驟

(1). 官網下載elasticsearch 7.6.1版本tar包.

       官網下載地址:https://www.elastic.co/cn/downloads

 

圖3.1 選擇elasticsearch的下載,下載步驟參照filebeat的下載。

 

(2.)將elasticsearch的tar包文件通過ftp工具復制進去elk文件夾並解壓。

(3.)無需修改配置文件。

(4.)如果當前服務器jdk版本不滿足,可以使用elasticsearch自帶的jdk12,方法如下:

       進入elasticsearch的bin目錄,修改elasticsearch文件,在開頭添加上這一行:export JAVA_HOME={此處為你的elasticsearch路徑}/jdk/,並相應的修改垃圾內存回收機制,進入elasticsearch的config目錄,修改jvm.options文件,將 : -XX:+UseConcMarkSweepGC

改為:-XX:+UseG1GC。

(四). kibana搭建步驟

(1). 官網下載kibana 7.6.1版本tar包.

       官網下載地址:https://www.elastic.co/cn/downloads

 

圖4.1 選擇kibana的下載,下載步驟參照filebeat的下載。

 

(2.)將kibana的tar包文件通過ftp工具復制進去elk文件夾並解壓。

(3.)進入kibana的config文件夾,修改配置文件kibana.yml。

配置文件如下:

server.host: 0.0.0.0

elasticsearch.hosts: ["http://127.0.0.1:9200"]

i18n.locale: "zh-CN"

 

2.   啟動步驟

啟動按elasticsearch ->kibana -> logstash-> filebeat順序啟動

(1). elasticsearch啟動

在elasticsearch的bin目錄下,執行:nohup ./elasticsearch > elasticsearch.log 2>&1 &

,默認端口號為9200

(2). kibana啟動

在kibana的bin目錄下,執行:nohup ./kibana > kibana.log 2>&1 &

,默認端口號為5601

(3). logstash啟動

在logstash的bin目錄下,執行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &

,默認端口號為9600

 

 (4). Filebeat啟動

在filebeat的bin目錄下,執行:nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log 2>&1 &

(注:第一次啟動,關閉shell窗口時先使用exit退出,再進行關閉窗口操作)

4.  kibana頁面進入及設置

(1). 界面地址

地址:{此處為kibana所在的服務器ip地址}:5601,如10.1.8.116:5601.

(2). 添加索引

 

根據頁面提示,添加索引進行查看日志。

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM