1. 整體方案圖
2. 搭建步驟
(一).filebeat搭建步驟
(1). 官網下載filebeat 7.6.1版本tar包.
官網下載地址:https://www.elastic.co/cn/downloads
圖1.1 進入官網下載地址,點擊beats的下載按鈕。
圖1.2 點擊filebeat的download。
圖1.3 選擇適合的版本下載,我這里選擇64位linux的版本。
(2.)在目標服務器創建elk文件夾,將filebeat的tar包文件通過ftp工具復制進去並解壓。(目標服務器就是需要采集的日志所在的服務器,filebeat可以在不同服務器搭建多個進行采集)
(3.)進入filebeat文件夾,修改filebeat.yml配置文件。
配置如下:
filebeat.inputs:
- type: log
enabled: true #true為啟用,默認為true
paths:
- /home/nmc/backend/*/log/*.log #填入要采集的日志文件地址,*為匹配符。
output.logstash:
hosts: ["localhost:5044"] #輸出的logstash的地址,此處代表輸出到本地的logstash
(二).logstash搭建步驟
(1). 官網下載logstash 7.6.1版本tar包.
官網下載地址:https://www.elastic.co/cn/downloads
圖2.1 選擇logstash下載,下載步驟參照filebeat的下載。
(2.)將logstash的tar包文件通過ftp工具復制進去elk文件夾並解壓。
(3.)進入logstash的config文件夾,修改配置文件logstash-sample.conf。
配置文件如下:
input {
beats { #意思是用beats輸入到logstash
port => 5044
}
}
output {
elasticsearch { #輸出到elasticsearch
hosts => ["http://localhost:9200"]
}
}
(4.)logstash有很多的過濾器插件,可以根據需要在配置文件中配置使用。
(三). elasticsearch搭建步驟
(1). 官網下載elasticsearch 7.6.1版本tar包.
官網下載地址:https://www.elastic.co/cn/downloads
圖3.1 選擇elasticsearch的下載,下載步驟參照filebeat的下載。
(2.)將elasticsearch的tar包文件通過ftp工具復制進去elk文件夾並解壓。
(3.)無需修改配置文件。
(4.)如果當前服務器jdk版本不滿足,可以使用elasticsearch自帶的jdk12,方法如下:
進入elasticsearch的bin目錄,修改elasticsearch文件,在開頭添加上這一行:export JAVA_HOME={此處為你的elasticsearch路徑}/jdk/,並相應的修改垃圾內存回收機制,進入elasticsearch的config目錄,修改jvm.options文件,將 : -XX:+UseConcMarkSweepGC
改為:-XX:+UseG1GC。
(四). kibana搭建步驟
(1). 官網下載kibana 7.6.1版本tar包.
官網下載地址:https://www.elastic.co/cn/downloads
圖4.1 選擇kibana的下載,下載步驟參照filebeat的下載。
(2.)將kibana的tar包文件通過ftp工具復制進去elk文件夾並解壓。
(3.)進入kibana的config文件夾,修改配置文件kibana.yml。
配置文件如下:
server.host: 0.0.0.0
elasticsearch.hosts: ["http://127.0.0.1:9200"]
i18n.locale: "zh-CN"
2. 啟動步驟
啟動按elasticsearch ->kibana -> logstash-> filebeat順序啟動
(1). elasticsearch啟動
在elasticsearch的bin目錄下,執行:nohup ./elasticsearch > elasticsearch.log 2>&1 &
,默認端口號為9200
(2). kibana啟動
在kibana的bin目錄下,執行:nohup ./kibana > kibana.log 2>&1 &
,默認端口號為5601
(3). logstash啟動
在logstash的bin目錄下,執行:nohup ./logstash -f ../config/logstash-sample.conf > logstash.log 2>&1 &
,默認端口號為9600
(4). Filebeat啟動
在filebeat的bin目錄下,執行:nohup ./filebeat -e -c filebeat.yml -d "publish" > filebeat.log 2>&1 &
(注:第一次啟動,關閉shell窗口時先使用exit退出,再進行關閉窗口操作)
4. kibana頁面進入及設置
(1). 界面地址
地址:{此處為kibana所在的服務器ip地址}:5601,如10.1.8.116:5601.
(2). 添加索引
根據頁面提示,添加索引進行查看日志。