filebeat+redis+elk構建多服務器日志收集系統配置文件說明

前言

  很多時候，我們需要將多台服務器上的日志文件（系統日志、站點日志、業務日志等）匯總到一台日志服務器上，同時需要對日志進行匯總分析、或從大量的日志數據中找到自己需要的日志信息，如何快速匯總和檢索日志數據是需要解決的問題。本文主要介紹通過filebeat收集日志，再使用redis作為消息隊列進行傳輸，最終存儲到ES中，使用kibana進行統計和查詢。本文主要記錄配置信息，方便后期查看，原理這些不會介紹，有興趣的可以看下我之前的博客。

系統結構說明

QA答疑：

• 為什么使用filebeat收集應用服務器上的數據，而不是logstash？答：因為logstash依賴JVM，運行期間占用服務器資源也很大，而filebeat沒有依賴，更加輕量，部署很方便。
• 為什么使用redis作為消息隊列，kafka是否可以？為什么需要消息隊列？答：kafka也可以，根據自身業務需求自行選擇即可。采用消息隊列是考慮到隨着業務服務器的越來越多，直接將filebeat搜集的數據傳輸給logstash，logstash接收數據會出現延遲甚至是宕機，從而導致數據丟失，通過消息隊列作為數據緩沖層可以有效減輕logstash的壓力，提高整個架構的穩定性。
• 為什么在redis和ES之間又加了logstash，是不是太多余了？答：這里的logstash不是必須的，可以將隊列的里數據存儲到ES中，博主這邊之所以加一層logstash是因為從業務角度出發，需要將filebeat搜集上來的數據進行有目的的過濾，filebeat雖然也有filter，但是過於簡單，不滿足我的需求，所以將數據過濾的邏輯放到了logstash中。

配置及啟動說明

filebeat

配置文件名：filebeat.yml

配置內容

# ============================== Filebeat 輸入配置==============================
filebeat.inputs:
- type: log
  enabled: true
  # 每 5 秒檢測一次文件是否有新的一行內容需要讀取
  backoff: "5s"
  # 是否從文件末尾開始讀取
  tail_files: false
  # 需要收集的數據所在的目錄
  paths:
    - D:/web/openweb/Log/2021/*.log
  # 自定義字段，在logstash中會根據該字段來在ES中建立不同的索引
  fields:
    filetype: apiweb_producelog

# 這里是收集的第二個數據，多個依次往下添加
- type: log
  enabled: true
  backoff: "5s"
  tail_files: false
  paths:
    - D:/web/openweb/Logs/Warn/*.log
  fields:
    filetype: apiweb_supplierlog

# ============================== Filebeat modules ==============================
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false

setup.template.settings:
  index.number_of_shards: 1

setup.kibana:

# ============================== Filebeat 輸出配置====================
output.redis:
  enabled: true
  # redis地址
  hosts: ["192.168.1.103:6379"]
  # redis密碼，沒有密碼則不添加該配置項
  password: 123456
  # 數據存儲到redis的key值
  key: apilog
  # 數據存儲到redis的第幾個庫
  db: 1
  # 數據存儲類型
  datatype: list

# ================================= Processors =================================
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~

啟動說明

# 進入執行文件目錄
cd /d D:/ELK/filebeat-7.14.0
# 啟動
.\filebeat -e -c filebeat.yml

logstash

配置文件名：logstash.conf（在bin目錄下新建文件）

配置內容

# 輸入
input {
  redis {
        host => "10.188.88.81"
        port => 6379
        password => "redis"
        key => "apilog" #這里的key值和filebeat配置文件中output.redis的key值保持一致
        data_type => "list"
        db =>1
    }
}
# 過濾
filter {
    if [fields][filetype] == "apiweb_producelog" {
      json {
        source => "message"
        remove_field => ["_type","beat","offset","tags","prospector"] #移除字段，不需要采集
      }
      date {
        match => ["timestamp", "dd/MMM/yyyy:HH:mm:ss Z"] #匹配timestamp字段
        target => "@timestamp"  #將匹配到的數據寫到@timestamp字段中
      }
    }
}

# 輸出
output {
    # 輸出到 Elasticsearch，根據filebeat中配置的filetype，在ES中建立不同的索引
    if [fields][filetype] == "apiweb_producelog" {
        elasticsearch {
            # Elasticsearch 地址
            hosts => ["localhost:9200"]
            # Elasticsearch 索引名
            index => "producelog-%{+YYYY.MM.dd}"
        }
    } else if [fields][filetype] == "apiweb_supplierlog" {
        elasticsearch {
            hosts => ["localhost:9200"]
            index => "supplierlog-%{+YYYY.MM.dd}"
        }
    } else {
        elasticsearch {
            hosts => ["localhost:9200"]
            index => "apilog-%{+YYYY.MM.dd}"
        }
    }
}

啟動說明

# 進入目錄
cd /d D:/ELK/logstash-7.7.0
# 啟動服務
bin\logstash -f bin\logstash.conf

elasticsearch

配置文件名：elasticsearch.yml

配置內容

# 數據存放目錄
path.data: D:/ELK/elasticsearch-7.7.0/data
# 日志存放目錄
path.logs: D:/ELK/elasticsearch-7.7.0/logs
# 服務IP
network.host: 127.0.0.1
# 服務端口
http.port: 9200

啟動說明

# 進入目錄
cd /d D:/ELK/elasticsearch-7.7.0
# 啟動服務
bin\elasticsearch

kibana

配置文件名：kibana.yml

配置內容

# 服務地址，根據實際情況自行調整
server.host: "localhost"
# 服務端口
server.port: 5601
# ES的地址
elasticsearch.hosts: ["http://localhost:9200"]
# kibana的索引
kibana.index: ".kibana"
# 界面語言，默認是en
i18n.locale: "zh-CN"

以上就是filebeat、ELK的全部配置說明，本文主要是作記錄使用