ELK (Elasticsearch + Logstash + Kibana)，是一個開源的日志收集平台，用於收集各種客戶端日志文件在同一個平台上面做數據分析。
ELK組件：
- Elasticsearch:負責日志檢索和儲存
- Logstash:負責日志的收集和分析、處理
- Kibana:負責日志的可視化
- 這三款軟件都是開源軟件,通常是配合使用,而且又先后歸於Elastic.co公司名下,故被簡稱為ELK
ELK安裝：
一：環境
說明：安裝包版本均使用7.2.0，同時客戶端使用Firebeat采集日志數據，建議提前下好安裝包上傳至服務器
如果是壓縮包安裝需添加elk用戶，Elasticsearch用root啟動會報錯
groupadd elk useradd -g elk elk passwd elk
安裝java8：
yum install java-1.8.0-openjdk java-1.8.0-openjdk-devel -y
二：安裝 Elasticsearch： 這里使用rpm包安裝
rpm -ivh elasticsearch-7.2.0-x86_64.rpm rpm -ivh kibana-7.2.0-x86_64.rpm rpm -ivh logstash-7.2.0.rpm
rpm 安裝后會自東生成system服務
啟動 systemctl start elasticearch
啟動后默認監聽端口
修改配置文件
vim /etc/elasticsearch/elasticsearch.yml
cluster.name: my-application node.name: es1 path.data: /var/lib/elasticsearch path.logs: /var/log/elasticsearch network.host: "0.0.0.0" http.port: 9200 cluster.initial_master_nodes: ["es1"]
驗證 curl 127.0.0.1:9200 （備注：單機默認配置無需修改，如需配置network-host等配置，必須設置
cluster.initial_master_nodes: ["es1"]，否者啟動會報錯）
rpm安裝的安裝包配置文件默認均在/etc/相關目錄下
三： kibana配置（rpm包上面已經安裝，直接修改配置文件）
vim /etc/kibana/kibana.yml
server.port: 5601 server.host: "0.0.0.0" server.name: "es1" elasticsearch.hosts: ["http://127.0.0.1:9200"] kibana.index: ".kibana"
systemctl start kibana
修改yml文件注意格式，key和vlaue必須有空格
kibana默認監聽5601端口
訪問http://192.168.18.144:5601
四：logstash配置
vim /etc/logstash/logstash.yml
path.data: /var/lib/logstash path.config: "/etc/logtash/conf.d" path.logs: /var/log/logstash
這里加入了一個include的目錄
同時鏈接到軟件目錄下方便后面修改
ln -s /etc/logstash /usr/share/logstash/config
編輯一個測試文件
vim /usr/share/logstash/config/conf.d/test.conf
input{ file{ path => ["/var/log/elasticsearch"] type => "elasticsearch-log" start_position => "beginning" } } filter{ } output{ elasticsearch{ hosts => ["127.0.0.1:9200"] index => "system-log-%{+YYYY.MM.dd}" } }
關閉system啟動方式
system disabled logstash
啟動：/usr/share/logstash/bin/logstash -f /usr/share/logstash/config/conf.d/test.conf
啟動后就可以在kibana上看到信息了（這種啟動方式當你關閉終端，或者ctrl+c時logstash就會退出。建議使用supervisord守護進程，詳細會在后續文章放出）
創建之后就可以在儀表盤看到日志信息了
五：安裝filebeat
Filebeat是一個日志文件托運工具，在你的服務器上安裝客戶端后，filebeat會監控日志目錄或者指定的日志文件，追蹤讀取這些文件（追蹤文件的變化，不停的讀），並且轉發這些信息到elasticsearch或者logstarsh中存放。
rpm -ivh filebeat-7.2.0-x86_64.rpm
更改配置文件（備份原來的配置文件新建一份）
vim /etc/filebeat/filebeat.yml （7.2版本 filebeat.prospectors參數廢棄）
filebeat.inputs:
- input_type: log
enabeld: true
paths:
- /var/log/elasticsearch/*.log
output.logstash:
hosts: ["127.0.0.1:5044"]
日志輸出到logstash，所以對應要修改logstash的啟動配置文件，設置logstash監聽在5044端口
input{ beats{ port => "5044" } } filter{ } output{ elasticsearch{ hosts => ["127.0.0.1:9200"] index => "system-log-%{+YYYY.MM.dd}" } }
啟動 systemctl start filebeat
六：nginx反向代理kibana並設置登錄驗證
Kibana的登錄驗證插件是收費功能，這里我們使用nginx來反向代理並設置登錄驗證。 用來安裝nginx的服務器IP是192.168.18.154 nginx安裝過程不在贅述 需要安裝httpd的密碼文件工具 yum -y install httpd-tools htpasswd -c -b /etc/nginx/passwd/kibana.passwd kibana kibana123（注意創建目錄)
編輯nginx配置文件
vim /etc/nginx/conf.d/kibana.conf
server { listen 80; server_name kibana.shiji.com; access_log /var/log/nginx/kibana/kinaba_access.log main; error_log /var/log/nginx/kibana/kinaba_error.log; auth_basic "Kibana Auth"; auth_basic_user_file /etc/nginx/passwd/kibana.passwd; location / { proxy_pass http://192.168.18.144:5601; proxy_redirect off; } }
最后效果
ES查詢索引相關操作
查詢 curl 'localhost:9200/_cat/indices?v'
刪除 curl -XDELETE 'localhost:9200/windows*'
查詢安裝logstash插件
/usr/share/logstash/bin/logstash-plugin list
/usr/share/logstash/bin/logstash-plugin install logstash-filter-multiline
刪除索引
curl '10.16.10.9:9200/_cat/indices?v'
curl -XDELETE '10.16.10.9:9200/order_center_2019'
查詢刪除模板
curl -XGET 10.16.10.9:9200/_template/template_1
curl -XDELETE 10.16.10.9:9200/_template/order_center_indextpl