ELK+SpringBoot+Logback離線安裝及配置

ELK+SpringBoot+Logback

離線安裝及配置

 

 

版本	v1.0
編寫時間	2018/6/11
編寫人	xxx

 

 

目錄

一、 ELK介紹2

二、 安裝環境2

三、 Elasticsearch安裝2

3.1 解壓 2

3.2 配置 2

3.3 創建賬戶 3

3.4 啟動 3

3.5 異常處理 3

四、 SpringBoot配置3

4.1 添加依賴pom.xml 3

4.2 配置logback.xml 4

五、 Logstash安裝4

5.1 解壓 4

5.2 配置 4

5.3 啟動 5

六、 Kibana安裝5

6.1 解壓 5

6.2 配置 5

6.3 啟動 5

6.4 訪問http://localhost:5601 5

七、 總結5

7.1流程 5

7.2用到的命令 6

 

 

 

 

 

 

 

 

 

一、ELK介紹

Elasticsearch是個開源分布式搜索引擎，它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。

Logstash是一個完全開源的工具，他可以對你的日志進行收集、過濾，並將其存儲供以后使用（如，搜索）。

Kibana 也是一個開源和免費的工具，它Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助您匯總、分析和搜索重要數據日志。

 

Logstash收集AppServer產生的Log，並存放到ElasticSearch集群中，而Kibana則從ES集群中查詢數據生成圖表，再返回給Browser。

二、安裝環境

系統：Centos7

JDK:1.8

Elasticsearch:6.2.4

Logstash:6.2.4

Kibana :6.2.4

ELK下載地址：https://www.elastic.co/cn/products

安裝參考地址：https://www.cnblogs.com/huangxincheng/p/7918722.html

三、Elasticsearch安裝

3.1 解壓

tar -xzvf elasticsearch-6.2.4.tar.gz

3.2 配置

cd elasticsearch-6.2.4

vim config/elasticsearch.yml

# 集群名稱

cluster.name: es_cluster

# 節點名稱

node.name: node-0

# 數據存儲目錄（多個路徑用逗號分隔）

path.data: /tmp/elasticsearch/data

# 日志目錄

path.logs: /tmp/elasticsearch/logs

# 本機IP

network.host: 192.168.53.11

# 監聽端口（默認）

http.port: 9200

3.3 創建賬戶

不能用root啟動

#新建elsearch組

groupadd elsearch

#新建一個elsearch用戶

useradd elsearch -g elsearch -p elasticsearch  

#指定elasticsearch-6.2.4目錄所屬elsearch組

chown -R elsearch:elsearch  ./elasticsearch-6.2.4

3.4 啟動

用elsearch登錄，然后啟動

nohup ./bin/elasticsearch &

注意：[nohup 命令 &]：后台啟動，啟動日志輸出到當前目錄下的nohup.out，使用tail -f nohup.out查看啟動情況，看到以下字樣，則啟動成功：

publish_address {192.168.53.11:9300}

publish_address {192.168.53.11:9200}

started

訪問192.168.53.11:9200可以看到node,cluster_name

3.5 異常處理

1. Ubuntu elasticsearch max virtual memory areas vm.max_map_count [65530] is too low, increase to at le

解決方案：vim /etc/sysctl.conf

添加vm.max_map.count=655360

  執行：sysctl -p

1. max file descriptors [65535] for elasticsearch process likely too low, increase to at least [65536]

解決方案：ulimit -n 65536

四、SpringBoot配置

4.1 添加依賴pom.xml

<dependency>

<groupId>net.logstash.logback</groupId>

<artifactId>logstash-logback-encoder</artifactId>

<version>4.9</version>

</dependency>

4.2 配置logback.xml

<!-- 配置appender -->

<appender name=”LOGSTASH”

class=”net.lgostash.logback.appender.logstashTcpSocketAppender”>

<!-- 本機地址及端口，用於將項目log日志輸出到logstash -->

<destination>localhost:9601</destination>

<encoder charset=”UTF-8” 

class=”net.logstash.logback.encoder.LogstashEncoder”>

<!-- 自定義變量，可以在kibana查看，如項目名稱 -->

<customFields>{“appname”:”uem-smgr-service”}</customFields>

</encoder>

</appender>

 

<!--- 配置logger -->

需要將日志輸出到logstash的地方都需要配置<appender-ref ref=”LOGSTASH”/>

<logger name=”包名或類名” level=”debug” additivity=”true|false 是否繼承父類logger”>

<appender-ref ref=”LOGSTASH”/>

</logger>

五、Logstash安裝

5.1 解壓

tar -xzvf logstash-6.2.4.tar.gz

5.2 配置

cd logstash-6.2.4

logstash.conf名字自定義的

vim config/logstash.conf

input {

tcp {

host => “localhost”

port => 9601

mode => “server”

tags => [“tags”]

codec => json_lines

}

}

output {

elasticsearch {

action => “index”

hosts => “192.168.53.11”

index => “%{[appname]}-52.200-log-%{+YYYY.MM.dd}”

}

stdout {

   codec => rubydebug { }

}

}

注意：

1.input.tcp: 中配置的是本機地址，ip和端口必須和springboot的logback.xml中的配置完全一樣，不能一個配ip一個localhost

2.output.elasticsearch: 配置elasticsearch服務器的ip

3.%{[appname]}: 引用springboot的logback.xml中配置的變量

4.output.stdout: 在終端顯示輸出信息（可以不配置）

5.如果修改logstash.conf后自動加載，需要配置：

vim config/logstash.yml

config.reload.automatic: true

5.3 啟動

nohup ./bin/logstash -f ./config/logstash.conf &

看到Successfully started Logstash API endpoin啟動成功

六、Kibana安裝

6.1 解壓

tar -xzvf kibana-6.2.4-linux-x86_64.tar.gz

6.2 配置

cd kibana-6.2.4-linux-x86_64

vim config/kibana.yml

server.host: “0.0.0.0”

elasticsearch.url: “http://192.168.53.11:9200”

6.3 啟動

nohup ./bin/kibana &

6.4 訪問http://localhost:5601

1. 創建index Pattern

當服務器，項目啟動，會生成index，名稱為logstash配置的%{[appname]}-52.200-log-%{+YYYY.MM.dd}

點擊Management----Index Patterns----CreateIndexPattern

在列表中能看到index名稱

在Step1中填寫匹配模式：如*，appname值*

在Step2中配置過濾字段@timestamp或其他

1. 點擊Discover，在索引框中選擇剛配置的匹配模式，就可以查看日志

七、總結

7.1流程

springboot項目啟動，日志通過logback記錄，並且根據配置將日志流發送給logstash，logstash過濾，存儲，elasticsearch負責索引搜索，kibana負責頁面展示。

注意如果幾個服務放在不同的服務器，注意端口的開放。

7.2用到的命令

1. tar -xvzf xxx.tar.gz 解壓
2. tar -cvf 壓縮
3. nohup 命令 & 后台啟動命令
4. jobs -l 查看后台啟動
5. tail -f 文件 查看文件最后幾行
6. head -n行數 文件 查看文件前幾行
7. ps -ef|grep 8181 查看進程
8. kill pid 殺進程
9. grep -v aaa 過濾不包含aaa
10. systemctl stop firewalld 臨時關閉防火牆
11. systemctl disabled firewalld 禁止開機啟動
12. firewall-cmd --zone=public --add-port=80/tcp --permanent 開啟端口80
13. firewall-cmd --reload 重啟防火牆

firewall-cmd --state ##查看防火牆狀態，是否是running

firewall-cmd --reload  ##重新載入配置，比如添加規則之后，需要執行此命令

firewall-cmd --get-zones   ##列出支持的zone

firewall-cmd --get-services  ##列出支持的服務，在列表中的服務是放行的

firewall-cmd --query-service ftp   ##查看ftp服務是否支持，返回yes或者no

firewall-cmd --add-service=ftp   ##臨時開放ftp服務

firewall-cmd --add-service=ftp --permanent     ##永久開放ftp服務

firewall-cmd --remove-service=ftp --permanent  ##永久移除ftp服務

firewall-cmd --add-port=80/tcp --permanent     ##永久添加80端口

iptables -L -n   ##查看規則，這個命令是和iptables的相同的

man firewall-cmd    ##查看幫助