前言
Elasticsearch是與名為Logstash的數據收集和日志解析引擎以及名為Kibana的分析和可視化平台一起開發的。這三個產品被設計成一個集成解決方案,稱為“Elastic Stack”(以前稱為“ELK stack”)
輕量型日志采集器Filebeat (https://www.elastic.co/cn/beats/filebeat)
當您要面對成百上千、甚至成千上萬的服務器、虛擬機和容器生成的日志時,請告別 SSH 吧。Filebeat 將為您提供一種輕量型方法,用於轉發和匯總日志與文件,讓簡單的事情不再繁雜。
Filebeat 讓簡單的事情簡單化
Filebeat 內置有多種模塊(Apache、Cisco ASA、Microsoft Azure、NGINX、MySQL 等等),可針對常見格式的日志大大簡化收集、解析和可視化過程,只需一條命令即可。之所以能實現這一點,是因為它將自動默認路徑(因操作系統而異)與 Elasticsearch 采集節點管道的定義和 Kibana 儀表板組合在一起。不僅如此,數個 Filebeat 模塊還包括預配置的 Machine Learning 任務。
ELKF 版本號 及 下載 地址
ElasticSearch 、Kibana、Filebeat、版本號 均為 7.7.0
官方下地址 https://www.elastic.co/cn/ 不推薦 在官網下載 速度太慢了,
建議使用國內 開源鏡像地址下 如 華為開源鏡像、阿里 等 ,本人在 華為開源鏡像下載 https://mirrors.huaweicloud.com/。速度很給力,建議收藏該網址
搭建環境
- windows 10 專業版 2004
- jdk 1.8 建議配置 JAVA_HOME 環境變量
- 下載 完成 elasticsearch-7.7.0-windows-x86_64.zip ,kibana-7.7.0-windows-x86_64.zip,filebeat-7.7.0-windows-x86_64.zip
開始安裝配置
安裝elasticsearch-7.7.0
基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTful web接口
- 修改配置文件
解壓zip包后 修改 config/elasticsearch.yml 文件
network.host: 127.0.0.1
http.port: 9200
- 啟動elasticsearch
在 cmd 中運行 bin/elasticsearch.bat
驗證是否啟動成功,
打開瀏覽器 訪問 http://127.0.0.1:9200/ 如果 返回 json 字符,說明運行成功
安裝kibana-7.7.0
- 修改參數
解壓zip包,修改 config/kibana.yml配置文件
# 配置IP 和端口號 server: port: 5601 host: 127.0.0.1 # 配置 elasticsearch 地址 elasticsearch.hosts: ["http://127.0.0.1:9200"] i18n.locale: "zh-CN"
- 啟動kibana
在cmd中 運行 bin/kibana.bat
驗證是否成功啟動
打開瀏覽器 訪問 http://127.0.0.1:5601/ 如果出現 kibana 可視化管理頁面 ,說明成功啟動
安裝filebeat-7.7.0
- 修改參數
解壓zip包,修改 filebeat.yml 配置文件
# 輸入 filebeat.inputs: # Each - is an input. Most options can be set at the input level, so # you can use different inputs for various configurations. # Below are the input specific configurations. # 需要采集日志的地方 - type: log # Change to true to enable this input configuration. enabled: true #發送文件 編碼 utf-8 解決中文日志亂碼問題 encoding: utf-8 # Paths that should be crawled and fetched. Glob based paths. #需要收集的日志地址 paths: - D:/log/*.log - D:/log2/*.log name: myFileBeatTest setup.kibana: host: "127.0.0.1:5601" output.elasticsearch: hosts: ["127.0.0.1:9200"] monitoring.enabled: true
修改 modules.d/elasticsearch.yml.enable , modules.d/logstash.yml.enable
- 運行filebeat
在cmd 中
輸入 filebeat modules enable elasticsearch (啟動elasticsearcch 模塊)
輸入 filebeat.exe setup -e ,回車啟動 filebeat
搭建完成使用kibana可視化工具查看日志
- 訪問kibana 可視化 管理頁面
http://127.0.0.1:5601/app/kibana#/home
- 添加日志數據
建立kibana索引、elasticseart索引
- 查看收集到elastics文件數據庫中的日志
添加篩選字段、通過儀表盤查看收集到的日志數據
總結:
本人在搭建過程遇到最大問題其實是不知道如何使用 kibana, 添加日志文件 建立索引和查看數據(如果有能力的情況下看官網文檔)
到此你已經完成 了 日志收集 和 日志數據查看 查看 的簡單 dmeo了
在linux 部署其實步驟 一樣,只不過啟動 linux 啟動命令 不太一樣,請自行學習 ,主要的是 配置文件的參數 修改 ,和 kibana 可視化工具的使用,建立索引,查看日志。
如需高級 文件 日志 過濾,指定 數據收集,請參考 filebeat 配置文件 參數詳解,或 使用 logstash 工具 來實現。