ELK（日志審計系統）

本文轉載自查看原文 2019-08-14 15:47 883 工具/ 自動化運維/監控

ELk簡介及工作流程

　　ELK即（Elasticsearch + Logstash + Kibana）

下載安裝包

系統環境：Contos7.0
Java環境：Portal（這是歷史下載地址，我的是 jdk-8u151-linux-x64.tar.gz）
Logstash/Elasticsearch/Kibana/Filebeat：Portal（我都是選的7.0版本）
redis：Portal

下載完成后傳到服務器，全部解壓至“/etc/elk”目錄下，注意：這里使用的是單機部署（內存應不低於2G）

Java環境配置

tar -zvxf jdk-8u151-linux-x64.tar.gz -C /data/app/
ln -s /data/app/jdk1.8.0_151 /data/app/jdk
cat <<EOF >> /etc/profile   # 追加文件
"""
export JAVA_HOME=/data/app/jdk
PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH
CLASSPATH=.$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar
EOF
"""
source /etc/profile
ln -s /data/app/jdk/bin/java /usr/bin/java 
java -version        # 查看是否安裝成功

命令

elasticsearch部署

elasticsearch安裝

rpm -ivh elasticsearch-7.0.0-x86_64.rpm 
# 編輯配置文件
vim /etc/elasticsearch/elasticsearch.yml
"""
path.logs: /var/log/elasticsearch
cluster.name: elk01
node.name: node-1
path.data: /var/lib/elasticsearch
path.logs: /var/log/elasticsearch
network.host: 0.0.0.0
http.port: 9200
discovery.seed_hosts: ["10.60.53.143",]
cluster.initial_master_nodes: ["10.60.53.143",]
"""
# 具體作用可以看配置文件中的英文解釋
systemctl restart elasticsearch  # 啟動服務

npm安裝步驟

logstash部署

rpm -ivh logstash-7.0.0.rpm

更新中..................

kibana部署

rpm -ivh kibana-7.0.0-x86_64.rpm
# 編輯配置文件
vim /etc/kibana/kibana.yml
"""
server.port: 5601
server.host: "0.0.0.0"
elasticsearch.hosts: ["http://10.60.53.143:9200"]
"""
# 啟動
systemctl  start kibana
systemctl  enable  kibana

filebeat部署

安裝

rpm -ivh filebeat-7.0.0-x86_64.rpm

修改filebeat配置文件“filebeat.yml” and Redis配置文件"6379.conf"

filebeat沒有運行日志，直接查看系統messages運行日志即可。
配置好filebeat后一定要重啟。
重啟后查看redis中是否有值，有值則正常。

# 注銷bind字段，將protected-mode設置為no
# bind 127.0.0.1
protected-mode no

/etc/redis/6379.conf

filebeat.inputs:
- type: log
  paths:
    - /root/channelHandle-out-2.log
  fields:
    log_file: xsj_channelhandle_out_2
    log_type: a-out-log
  fields_under_root: true
  encoding: utf-8
processors:
  - drop_event:
      when.not.contains:
        message: "收到"
output.redis:
  hosts: ["10.60.53.143:6379"]
  db: 0
  # password: "1234@abcd.com"
  key: "%{[log_file]:xsj}"
  timeout: 5

etc/filebeat/filebaet.yml