概述
詳細
本文介紹使用ELK（elasticsearch、logstash、kibana） + kafka來搭建一個日志系統。主要演示使用spring aop進行日志收集，然后通過kafka將日志發送給logstash，logstash再將日志寫入elasticsearch，這樣elasticsearch就有了日志數據了，最后，則使用kibana將存放在elasticsearch中的日志數據顯示出來，並且可以做實時的數據圖表分析等等。
為什么用ELK
以前不用ELK的做法
最開始我些項目的時候，都習慣用log4j來把日志寫到log文件中，后來項目有了高可用的要求，我們就進行了分布式部署web，這樣我們還是用log4j這樣的方式來記錄log的話，那么就有N台機子的N個log目錄，這個時候查找log起來非常麻煩，不知道問題用戶出錯log是寫在哪一台服務器上的，后來，想到一個辦法，干脆把log直接寫到數據庫中去，這樣做，雖然解決了查找異常信息便利性的問題了，但存在兩個缺陷：
1，log記錄好多，表不夠用啊，又得分庫分表了，
2，連接db，如果是數據庫異常，那邊log就丟失了，那么為了解決log丟失的問題，那么還得先將log寫在本地，然后等db連通了后，再將log同步到db，這樣的處理辦法，感覺是越搞越復雜。
現在ELK的做法
好在現在有了ELK這樣的方案，可以解決以上存在的煩惱，首先是，使用elasticsearch來存儲日志信息，對一般系統來說可以理解為可以存儲無限條數據，因為elasticsearch有良好的擴展性，然后是有一個logstash，可以把理解為數據接口，為elasticsearch對接外面過來的log數據，它對接的渠道，有kafka，有log文件，有redis等等，足夠兼容N多log形式，最后還有一個部分就是kibana，它主要用來做數據展現，log那么多數據都存放在elasticsearch中，我們得看看log是什么樣子的吧，這個kibana就是為了讓我們看log數據的，但還有一個更重要的功能是，可以編輯N種圖表形式，什么柱狀圖，折線圖等等，來對log數據進行直觀的展現。
ELK職能分工
-
logstash做日志對接，接受應用系統的log，然后將其寫入到elasticsearch中，logstash可以支持N種log渠道，kafka渠道寫進來的、和log目錄對接的方式、也可以對reids中的log數據進行監控讀取，等等。
-
elasticsearch存儲日志數據，方便的擴展特效，可以存儲足夠多的日志數據。
-
kibana則是對存放在elasticsearch中的log數據進行：數據展現、報表展現，並且是實時的。
怎樣用ELK
首先說明一點，使用ELK是不需要開發的，只需要搭建環境使用即可。搭建環境，可以理解為，下載XX軟件，然后配置下XX端口啊，XX地址啊，XX日志轉發規則啊等等，當配置完畢后，然后點擊XX bat文件，然后啟動。
Logstash配置
可以配置接入N多種log渠道，現狀我配置的只是接入kafka渠道。
配置文件在\logstash-2.3.4\config目錄下
要配置的是如下兩個參數體：
-
input：數據來源。
-
output：數據存儲到哪里。
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
|
input {
kafka {
zk_connect =>
"127.0.0.1:2181"
topic_id =>
"mylog_topic"
}
}
filter {
#Only matched data are send to output.
}
output {
#stdout{}
# For detail config for elasticsearch as output,
# See: https://www.elastic.co/guide/en/logstash/current/plugins-outputs-elasticsearch.html
elasticsearch {
action =>
"index"
#The operation on ES
hosts =>
"127.0.0.1:9200"
#ElasticSearch host, can be array.
index =>
"my_logs"
#The index to write data to.
}
}
|
Elasticsearch配置
配置文件在\elasticsearch-2.3.3\config目錄下的elasticsearch.yml，可以配置允許訪問的IP地址，端口等，但我這里是采取默認配置。
Kibana配置
配置文件在\kibana-4.5.4-windows\config目錄下的kibana.yml，可以配置允許訪問的IP地址，端口等，但我這里是采取默認配置。
這里有一個需要注意的配置，就是指定訪問elasticsearch的地址。我這里是同一台機子做測試，所以也是采取默認值了。
|
1
2
|
# The Elasticsearch instance to use for all your queries.
# elasticsearch.url: "http://localhost:9200"
|
關於ELK的配置大致上，就這樣就可以了，當然其實還有N多配置項可供配置的，具體可以google。這里就不展開說了。
具體的配置請下載運行環境，里面有具體的配置。
和spring aop日志對接
elk環境搭建完畢后，需要在應用系統做日志的aop實現。
部分spring配置
|
1
2
3
4
5
6
7
8
9
|
<
aop:aspectj-autoproxy
/>
<
aop:aspectj-autoproxy
proxy-target-class="true" />
<!-- 掃描web包，應用Spring的注解 -->
<
context:component-scan
base-package="com.demodashi">
<
context:include-filter
type="annotation" expression="org.springframework.stereotype.Controller" />
<
context:exclude-filter
type="annotation" expression="javax.inject.Named" />
<
context:exclude-filter
type="annotation" expression="javax.inject.Inject" />
</
context:component-scan
>
|
部分java代碼
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
package
com.demodashi.aop.annotation;
import
java.lang.annotation.*;
/**
*自定義注解 攔截service
*/
@Target
({ElementType.PARAMETER, ElementType.METHOD})
@Retention
(RetentionPolicy.RUNTIME)
@Documented
public
@interface
ServiceLogAnnotation {
String description()
default
""
;
}
|
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
|
package
com.demodashi.aop.annotation;
import
java.lang.annotation.*;
/**
*自定義注解 攔截Controller
*/
@Target
({ElementType.PARAMETER, ElementType.METHOD})
@Retention
(RetentionPolicy.RUNTIME)
@Documented
public
@interface
ControllerLogAnnotation {
String description()
default
""
;
}
|
代碼截圖
日志和kafka、和logstash、elasticsearch、kibana直接的關系
ELK，kafka、aop之間的關系
1、aop對日志進行收集，然后通過kafka發送出去，發送的時候，指定了topic（在spring配置文件中配置為 topic="mylog_topic"）
2、logstash指定接手topic為 mylog_topic的kafka消息（在config目錄下的配置文件中，有一個input的配置）
3、然后logstash還定義了將接收到的kafka消息，寫入到索引為my_logs的庫中（output中有定義）
4、再在kibana配置中，指定要連接那個elasticsearch（kibana.yml中有配置，默認為本機）
5、最后是訪問kibana，在kibana的控制台中，設置要訪問elasticsearch中的哪個index。
部署ELK + kafka環境
我本機的環境是jdk8.0，我記得測試的過程中，elasticsearch對jdk有特別的要求，必須是jdk7或者以上。
下載運行環境附件，並解壓后，看到如下：
這些運行環境，在每個軟件里面，都有具體的啟動說明，如kafka的目錄下，這樣：
按照啟動說明的命令來執行，即可啟動。
這里需要說明一點，最先啟動，應該是zookeeper，然后才是其他的，其他幾個沒有嚴格區分啟動順序。
直接在window下面，同一台機子啟動即可。除了kibana-4.5.4-windows外，其他幾個也是可以在linux下運行的。
運行效果
項目導入到eclipse后，啟動，然后訪問如下地址：
用戶名為 1001 密碼為 123
登陸后能看到如下：
本例子是對修改密碼做了日志攔截。所以修改密碼的動作，能看到打印如下信息：
然后是觀察一下aop日志攔截，是否被kafka發送給logstash了，是否被寫入了elasticsearch了。
訪問elasticsearch，http://127.0.0.1:9200/_plugin/head/ 如下：
注意觀察我們定義的my_logs這個索引庫是否增加記錄了。
訪問kibana：
http://127.0.0.1:5601/app/kibana
在輸入索引名稱后，再點擊 create按鈕，即可得到如下界面：
然后再點擊Discover，界面如下：
如果你看不到數據，記得點擊右上角的按鈕來選擇數據的時間范圍：
到這里就完成了，日志的AOP收集，日志的流轉，並寫入到elasticsearch，並用kibana看數據。
當然kibana還有很重要的一個功能是數據分析圖表的配置，主要是通過向導來完成。
高可用實現
現在實現的是一個最基本的日志收集，日志傳輸，日志存儲以及日志展示的一條鏈路的功能，如果系統上線，還需要做一定的集群，如kafka集群，zookeeper集群，還有elasticsearch集群