Docker安裝部署ELK教程 (Elasticsearch+Kibana+Logstash+Filebeat)

一、Docker 安裝 Elasticsearch

1拉取鏡像

docker pull elasticsearch:7.1.1

2創建自定義的網絡(用於連接到連接到同一網絡的其他服務(例如Kibana))

docker network create somenetwork

3運行elasticsearch

docker run -d --name elasticsearch --net somenetwork -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.1.1

4查看容器狀態

docker ps

5檢測 elasticsearch 是否啟動成功

curl 127.0.0.1:9200

二、Docker 安裝 Kibana

1拉取鏡像

docker pull kibana:7.1.1

2運行Kibana

注意:在本例中，Kibana使用默認配置，並希望連接到正在運行的Elasticsearch實例http://localhost:9200

docker run -d --name kibana --net somenetwork -p 5601:5601 kibana:7.1.1

3瀏覽器訪問測試

http://10.0.0.101:5601/

三、Docker 安裝 Logstash

1拉取鏡像

docker pull logstash:7.1.1

2創建目錄用於存放配置文件

[root@master ~]# mkdir docker
[root@master ~]# mkdir docker/logstash
[root@master ~]# cd docker/logstash/
[root@master logstash]# vim logstash.yml
[root@master logstash]# cat logstash.yml
path.config: /usr/share/logstash/conf.d/*.conf
path.logs: /var/log/logstash

[root@master logstash]# mkdir conf.d
[root@master logstash]# cd conf.d/
[root@master conf.d]# vim test.conf
[root@master conf.d]# cat test.conf
input {
    beats {
    port => 5044
    codec => "json"
}
}

output {
  elasticsearch { hosts => ["elasticsearch:9200"] }
  stdout { codec => rubydebug }
}

3啟動Logstash

記得映射上面兩個目錄 {path}

docker run -it -d -p 5044:5044 --name logstash --net somenetwork \
-v /root/docker/logstash/logstash.yml:/usr/share/logstash/config/logstash.yml \
-v /root/docker/logstash/conf.d/:/usr/share/logstash/conf.d/ logstash:7.1.1

四、Docker 安裝 Filebeat

1拉取鏡像

docker pull store/elastic/filebeat:7.1.1

2下載官方默認配置文件

[root@master ~]# cd docker
[root@master docker]# mkdir filebeat
[root@master docker]# cd filebeat
[root@master filebeat]# curl -L -O https://raw.githubusercontent.com/elastic/beats/7.1/deploy/docker/filebeat.docker.yml

3修改配置文件

# 增加下面的配置 (收集 .log 數據 把數據發送到當前網絡5044端口 (logstash 端口) )

# 這個地方的 .log 要保證有幾條測試數據

filebeat.inputs:

- type: log

  enabled: true

  paths:

  - /var/log/nginx/*.log

output.logstash:

  hosts: ['{ip}:5044']

[root@master filebeat]# vim filebeat.docker.yml 
[root@master filebeat]# cat filebeat.docker.yml 
filebeat.config:
  modules:
    path: ${path.config}/modules.d/*.yml
    reload.enabled: false

filebeat.autodiscover:
  providers:
    - type: docker
      hints.enabled: true

processors:
- add_cloud_metadata: ~

output.elasticsearch:
  hosts: '${ELASTICSEARCH_HOSTS:elasticsearch:9200}'
  username: '${ELASTICSEARCH_USERNAME:}'
  password: '${ELASTICSEARCH_PASSWORD:}'
filebeat.inputs:
- type: log
  enabled: true
  paths:
  - /var/log/nginx/*.log

output.logstash:
  hosts: ['{ip}:5044']

4運行Filebest

# 請更改下面兩個路徑

{nginx-path} = 本地的日志文件目錄（映射到容器中 作為數據源）

{path} = Filebeat配置文件路徑 

{ip} = elasticsearch

1） 創建本地日志文件目錄

[root@master ~]# mkdir logs
[root@master ~]# cd logs
[root@master logs]# pwd
/root/logs

2） 確定filebest配置文件路徑

[root@master ~]# cd docker/filebeat/
[root@master filebeat]# ls
filebeat.docker.yml
[root@master filebeat]# pwd
/root/docker/filebeat

3） 確定elasticsearch的ip地址

應該就是本機的ip地址10.0.0.101

4)運行

docker run --name filebeat --user=root -d --net somenetwork \
--volume="/root/logs:/var/log/nginx/" \
--volume="/root/docker/filebeat/filebeat.docker.yml:/usr/share/filebeat/filebeat.yml:ro" \
--volume="/var/lib/docker/containers:/var/lib/docker/containers:ro" \
--volume="/var/run/docker.sock:/var/run/docker.sock:ro" \
store/elastic/filebeat:7.1.1

5登錄web頁面查看數據

http://10.0.0.101:5601/