ELKF-分布式日志收集分析平台搭建 最小化 配置過程 - 查看收集日志(windows10下搭建)


前言

Elasticsearch是與名為Logstash的數據收集和日志解析引擎以及名為Kibana的分析和可視化平台一起開發的。這三個產品被設計成一個集成解決方案,稱為“Elastic Stack”(以前稱為“ELK stack”)

輕量型日志采集器Filebeat (https://www.elastic.co/cn/beats/filebeat)

當您要面對成百上千、甚至成千上萬的服務器、虛擬機和容器生成的日志時,請告別 SSH 吧。Filebeat 將為您提供一種輕量型方法,用於轉發和匯總日志與文件,讓簡單的事情不再繁雜。

Filebeat 讓簡單的事情簡單化

Filebeat 內置有多種模塊(Apache、Cisco ASA、Microsoft Azure、NGINX、MySQL 等等),可針對常見格式的日志大大簡化收集、解析和可視化過程,只需一條命令即可。之所以能實現這一點,是因為它將自動默認路徑(因操作系統而異)與 Elasticsearch 采集節點管道的定義和 Kibana 儀表板組合在一起。不僅如此,數個 Filebeat 模塊還包括預配置的 Machine Learning 任務。

ELKF 版本號 及 下載 地址

    ElasticSearch 、Kibana、Filebeat、版本號 均為 7.7.0

    官方下地址 https://www.elastic.co/cn/  不推薦 在官網下載 速度太慢了,
    建議使用國內 開源鏡像地址下 如 華為開源鏡像、阿里 等 ,本人在 華為開源鏡像下載 https://mirrors.huaweicloud.com/。速度很給力,建議收藏該網址

搭建環境

  • windows 10 專業版 2004
  • jdk 1.8 建議配置 JAVA_HOME 環境變量
  • 下載 完成 elasticsearch-7.7.0-windows-x86_64.zip ,kibana-7.7.0-windows-x86_64.zip,filebeat-7.7.0-windows-x86_64.zip

開始安裝配置

安裝elasticsearch-7.7.0 

基於Lucene的搜索服務器。它提供了一個分布式多用戶能力的全文搜索引擎,基於RESTful web接口

  • 修改配置文件

解壓zip包后 修改 config/elasticsearch.yml 文件

network.host: 127.0.0.1
http.port: 9200
  • 啟動elasticsearch

在 cmd 中運行 bin/elasticsearch.bat

驗證是否啟動成功,

打開瀏覽器 訪問 http://127.0.0.1:9200/ 如果 返回 json 字符,說明運行成功

 

安裝kibana-7.7.0

  • 修改參數

解壓zip包,修改 config/kibana.yml配置文件

# 配置IP 和端口號
server:
  port: 5601
  host: 127.0.0.1
# 配置 elasticsearch 地址
elasticsearch.hosts: ["http://127.0.0.1:9200"]
i18n.locale: "zh-CN"
  • 啟動kibana

在cmd中 運行 bin/kibana.bat

 驗證是否成功啟動

打開瀏覽器 訪問 http://127.0.0.1:5601/ 如果出現 kibana 可視化管理頁面 ,說明成功啟動

 

安裝filebeat-7.7.0

  • 修改參數

解壓zip包,修改 filebeat.yml 配置文件

# 輸入
filebeat.inputs:
# Each - is an input. Most options can be set at the input level, so
# you can use different inputs for various configurations.
# Below are the input specific configurations.
# 需要采集日志的地方
- type: log
  # Change to true to enable this input configuration.
  enabled: true
  #發送文件 編碼  utf-8 解決中文日志亂碼問題
  encoding: utf-8
  # Paths that should be crawled and fetched. Glob based paths.
  #需要收集的日志地址
  paths:
    - D:/log/*.log
    - D:/log2/*.log

name: myFileBeatTest

setup.kibana:
  host: "127.0.0.1:5601"

output.elasticsearch:
  hosts: ["127.0.0.1:9200"]
monitoring.enabled: true

修改  modules.d/elasticsearch.yml.enable , modules.d/logstash.yml.enable

  • 運行filebeat

在cmd 中

輸入 filebeat modules enable elasticsearch (啟動elasticsearcch 模塊)

輸入 filebeat.exe setup -e ,回車啟動 filebeat 

搭建完成使用kibana可視化工具查看日志

  • 訪問kibana 可視化 管理頁面 

http://127.0.0.1:5601/app/kibana#/home

  • 添加日志數據

建立kibana索引、elasticseart索引

 

 

 

  •  查看收集到elastics文件數據庫中的日志

添加篩選字段、通過儀表盤查看收集到的日志數據

總結:

本人在搭建過程遇到最大問題其實是不知道如何使用  kibana, 添加日志文件 建立索引和查看數據(如果有能力的情況下看官網文檔)

到此你已經完成 了 日志收集 和 日志數據查看 查看 的簡單 dmeo了

在linux 部署其實步驟 一樣,只不過啟動 linux 啟動命令 不太一樣,請自行學習 ,主要的是 配置文件的參數 修改 ,和 kibana 可視化工具的使用,建立索引,查看日志。

如需高級 文件 日志 過濾,指定 數據收集,請參考 filebeat 配置文件 參數詳解,或 使用 logstash 工具 來實現。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM