Docker 部署ELK

1、安裝docker前安裝pip

sudo yum -y install epel-release

sudo yum install python-pip

2、安裝docker

#安裝依賴包

yum install -y yum-utils device-mapper-persistent-data lvm2
#添加docker yum源
yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo
#可選操作：允許拓展最新的不穩定的repository
yum-config-manager --enable docker-ce-edge
#安裝Docker
yum -y install docker-ce

#安裝docker-compose

sudo pip install -U docker-compose
#啟動Docker
systemctl start docker

安裝ELK:

1、下載鏡像

這里我們使用elk集成鏡像，地址：https://hub.docker.com/r/sebp/elk/tags

[root@centos-mq ~]# docker pull sebp/elk:660

注：660為elk版本

2、啟動

[root@centos-mq ~]# echo "vm.max_map_count=262144" > /etc/sysctl.conf
[root@centos-mq ~]# sysctl -p
[root@centos-mq ~]# docker run -dit --name elk \
    -p 5601:5601 \
    -p 9200:9200 \
    -p 5044:5044 \
    -v /opt/elk-data:/var/lib/elasticsearch \
    -v /etc/localtime:/etc/localtime \
    sebp/elk:660

說明：-p 指定映射端口，5601kibana訪問，9200es端口，5044 logstash收集日志端口；-v 指定es數據目錄

3、訪問

啟動后等待數據初始化后，瀏覽器輸入：http://10.200.110.106:5601/app/kibana,可看到kibana web界面

 

 

4、文件目錄

通過docker exec -it elk /bin/bash可進入容器中，具體各服務配置文件路徑如下

 [root@centos-mq ~]# docker exec -it elk /bin/bash
  /etc/logstash/        ## logstash 配置文件路徑
  /etc/elasticsearch/   ##es 配置文件路徑
  /var/log/             ## 日志路徑

 5、通過filebeat收集java

 filebeat部署，版本最好與elk一直，這里也選擇6.6.0版本，filebeat部署在應用所在服務器，進行日志收集，日志樣例；

　　a）下載安裝

[root@centos-mq ~]# wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-6.6.0-x86_64.rpm
[root@centos-mq ~]# rpm -ivh filebeat-6.6.0-x86_64.rpm

我本地是windows的，參考《windows系統安裝運行filebeat》 

　b）配置收集java日志

[root@vanje-dev02 ~]# vim /etc/filebeat/filebeat.yml 
#=========================== Filebeat inputs ============================
filebeat.inputs:- type: log
  enabled: true
  paths:
    - /apps/oneJars/himalaya/logs/one.log     ## 日志路徑
  tags: ["one-himalaya"]　　　　　　　　　　　　　## 標簽，用於判斷
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'　　 ## 匹配日志開頭
  multiline.negate: true　　　　　　　　　　　　 ## 日志合並
  multiline.match: after

           #-------------------------- Elasticsearch output ------------------------------ 
          
#output.elasticsearch: 
          
  #hosts: ["localhost:9200"]      ## 注釋 這里是配置采集的日志存放的方式，我們先經過logstash處理，所以這里注釋 
         

           #----------------------------- Logstash output -------------------------------- 
          
output.logstash: 
          
  hosts: ["10.10.0.13:5044"]   ## 采集日志輸出到logstash，ip為logstash服務ip 
         

## 啟動filebeat

[root@vanje-dev02 ~]# systemctl restart filebeat

 　　c）logstash配置

以下配置只是收集"2019-06-19 14:34:23.261 [http-nio-8090-exec-7] INFO  com.one.api.user.controller.UserBacklogController - [李強]:獲取待辦數"格式日志，用來分析用戶使用時間及姓名

## 定過濾指定日志，沒用的日志我們這里不收集，正常是要收集所有，
vim /etc/logstash/conf.d/02-beats-input.conf
input {
  beats {
    port => 5044
  }
}
filter {
  #if "one-himalaya" in [tags] {
  if [message] =~ '獲取待辦數' {
    grok {
      patterns_dir => ["/etc/logstash/patterns"]
      match => {
        "message" => "%{DAYTIME:day}\s*%{THREAD:thread}\s%{LOGEVL:level}\s*%{JAVACLASS:class}\s*- \[%{JAVALOGMESSAGE:logmessage}\]:"
         }
    }
  }
}
output {
 # if "one-himalaya" in [tags] {
  if [message] =~ '獲取待辦數' {
    elasticsearch {
      hosts => ["172.16.223.55:9200"]
      index => "one-himalaya10-15-%{+YYYY.MM.dd}"
    }
  }
}

## 自定義匹配規則
vim /etc/logstash/patterns
DAYTIME \d{4}-\d{2}-\d{2}\s\d{2}:\d{2}:\d{1,2}.\d{1,4}
LOGEVL [a-zA-Z]{4}
NUM \d{1}
THREAD \[http-nio-\d{4}-exec-\d{1,3}\]

## 重啟logstash
/etc/init.d/logstash restart

說明：實際生產中，我們會對收集的日志做各種分析提取，需要靈活使用grok 正則匹配來提取自己想要的數據。 可以通過Kibana Dev Tools>>Grok Debugger工具進行調式，例如：

 

6、kibana查看日志

打開kibana web界面，跟據提示創建索引，即可看到已經收集的日志信息：day logmessage 這兩個字段，為切割日志自定義的字段，這些字段跟據自己所需靈活定義，以區分切割的數據。