ElasticSearch實戰系列九: ELK日志系統介紹和安裝

本文轉載自查看原文 2020-10-24 19:52 2227 logstash/ elasticsearch/ elk/ kibana/ filebeat

前言

本文主要介紹的是ELK日志系統入門和使用教程。

ELK介紹

ELK是三個開源軟件的縮寫，分別表示：Elasticsearch , Logstash, Kibana , 它們都是開源軟件。新增了一個FileBeat，它是一個輕量級的日志收集處理工具(Agent)，Filebeat占用資源少，適合於在各個服務器上搜集日志后傳輸給Logstash，官方也推薦此工具。

Elasticsearch是個開源分布式搜索引擎，提供搜集、分析、存儲數據三大功能。它的特點有：分布式，零配置，自動發現，索引自動分片，索引副本機制，restful風格接口，多數據源，自動搜索負載等。
Logstash 主要是用來日志的搜集、分析、過濾日志的工具，支持大量的數據獲取方式。一般工作方式為c/s架構，client端安裝在需要收集日志的主機上，server端負責將收到的各節點日志進行過濾、修改等操作在一並發往elasticsearch上去。
Kibana 也是一個開源和免費的工具，Kibana可以為 Logstash 和 ElasticSearch 提供的日志分析友好的 Web 界面，可以幫助匯總、分析和搜索重要數據日志。
Filebeat是一個輕量型日志采集器，可以方便的同kibana集成，啟動filebeat后，可以直接在kibana中觀看對日志文件進行detail的過程。

ELasticSearch介紹

ElasticSearch是什么

Elasticsearch 是一個基於JSON的分布式搜索和分析引擎。它可以從RESTful Web服務接口訪問，並使用模式少JSON(JavaScript對象符號)文檔來存儲數據。它是基於Java編程語言，這使Elasticsearch能夠在不同的平台上運行。使用戶能夠以非常快的速度來搜索非常大的數據量。

ElasticSearch可以做什么

分布式的實時文件存儲，每個字段都被索引並可被搜索

分布式的實時分析搜索引擎

可以擴展到上百台服務器，處理PB級結構化或非結構化數據

Lucene是什么

ApacheLucene將寫入索引的所有信息組織成一種倒排索引（Inverted Index）的結構之中，該結構是種將詞項映射到文檔的數據結構。其工作方式與傳統的關系數據庫不同，大致來說倒排索引是面向詞項而不是面向文檔的。且Lucene索引之中還存儲了很多其他的信息，如詞向量等等，每個Lucene都是由多個段構成的，每個段只會被創建一次但會被查詢多次，段一旦創建就不會再被修改。多個段會在段合並的階段合並在一起，何時合並由Lucene的內在機制決定，段合並后數量會變少，但是相應的段本身會變大。段合並的過程是非常消耗I/O的，且與之同時會有些不再使用的信息被清理掉。在Lucene中，將數據轉化為倒排索引，將完整串轉化為可用於搜索的詞項的過程叫做分析。文本分析由分析器（Analyzer）來執行，分析其由分詞器（Tokenizer），過濾器（Filter）和字符映射器（Character Mapper）組成，其各個功能顯而易見。

更多ElasticSearch的相關介紹可以查看我的這篇博文:https://www.cnblogs.com/xuwujing/p/12093933.html

Logstash介紹

Logstash是一個數據流引擎：

它是用於數據物流的開源流式ETL引擎,在幾分鍾內建立數據流管道,具有水平可擴展及韌性且具有自適應緩沖,不可知的數據源,具有200多個集成和處理器的插件生態系統,使用Elastic Stack監視和管理部署

Logstash包含3個主要部分：輸入(inputs)，過濾器(filters)和輸出(outputs)。
inputs主要用來提供接收數據的規則，比如使用采集文件內容；
filters主要是對傳輸的數據進行過濾，比如使用grok規則進行數據過濾；
outputs主要是將接收的數據根據定義的輸出模式來進行輸出數據，比如輸出到ElasticSearch中.

示例圖:

在這里插入圖片描述

Kibana介紹

Kibana 是一款開源的數據分析和可視化平台，它是 Elastic Stack 成員之一，設計用於和 Elasticsearch 協作。您可以使用 Kibana 對 Elasticsearch 索引中的數據進行搜索、查看、交互操作。您可以很方便的利用圖表、表格及地圖對數據進行多元化的分析和呈現。

Kibana 可以使大數據通俗易懂。它很簡單，基於瀏覽器的界面便於您快速創建和分享動態數據儀表板來追蹤 Elasticsearch 的實時數據變化。

Filebeat介紹

Filebeat 是使用 Golang 實現的輕量型日志采集器，也是 Elasticsearch stack 里面的一員。本質上是一個 agent ，可以安裝在各個節點上，根據配置讀取對應位置的日志，並上報到相應的地方去。
Filebeat 的可靠性很強，可以保證日志 At least once 的上報，同時也考慮了日志搜集中的各類問題，例如日志斷點續讀、文件名更改、日志 Truncated 等。
Filebeat 並不依賴於 ElasticSearch，可以單獨存在。我們可以單獨使用Filebeat進行日志的上報和搜集。filebeat 內置了常用的 Output 組件, 例如 kafka、ElasticSearch、redis 等，出於調試考慮，也可以輸出到 console 和 file 。我們可以利用現有的 Output 組件，將日志進行上報。
當然，我們也可以自定義 Output 組件，讓 Filebeat 將日志轉發到我們想要的地方。
filebeat 其實是 elastic/beats 的一員，除了 filebeat 外，還有 HeartBeat、PacketBeat。這些 beat 的實現都是基於 libbeat 框架。

Filebeat 由兩個主要組件組成：harvester 和 prospector。

采集器 harvester 的主要職責是讀取單個文件的內容。讀取每個文件，並將內容發送到 the output。每個文件啟動一個 harvester，harvester 負責打開和關閉文件，這意味着在運行時文件描述符保持打開狀態。如果文件在讀取時被刪除或重命名，Filebeat 將繼續讀取文件。

查找器 prospector 的主要職責是管理 harvester 並找到所有要讀取的文件來源。如果輸入類型為日志，則查找器將查找路徑匹配的所有文件，並為每個文件啟動一個 harvester。每個 prospector 都在自己的 Go 協程中運行。

注：Filebeat prospector只能讀取本地文件，沒有功能可以連接到遠程主機來讀取存儲的文件或日志。

示例圖:

在這里插入圖片描述

ELK日志系統安裝

環境准備

ELK下載地址推薦使用清華大學或華為的開源鏡像站。

下載地址:

https://mirrors.huaweicloud.com/logstash
https://mirrors.tuna.tsinghua.edu.cn/ELK

ELK7.3.2百度網盤地址:
鏈接：https://pan.baidu.com/s/1tq3Czywjx3GGrreOAgkiGg
提取碼：cxng

ELasticSearch集群安裝

ElasticSearch集群安裝依賴JDK，本文的ElasticSearch版本為7.3.2，對應的JDK的版本為12。

1，文件准備

將下載好的elasticsearch文件解壓

輸入:

tar -xvf elasticsearch-7.3.2-linux-x86_64.tar.gz

然后移動到/opt/elk文件夾里面，沒有該文件夾則創建,然后將文件夾重命名為masternode.

在/opt/elk輸入

mv elasticsearch-7.3.2-linux-x86_64 /opt/elk mv
elasticsearch-7.3.2-linux-x86_64 masternode

2，配置修改

因為elasticsearch需要在非root的用戶下面操作，並且elasticsearch的文件夾的權限也為非root權限，因此我們需要創建一個用戶進行操作，我們創建一個elastic用戶，並賦予該目錄的權限。
命令如下:

adduser elastic

chown -R elastic:elastic /opt/elk/masternode

這里我們順便再來指定ElasticSearch數據和日志存放的路徑地址，我們可以先使用df -h命令查看當前系統的盤主要的磁盤在哪，然后在確認數據和日志存放的路徑，如果在/home 目錄下的話，我們就在home目錄下創建ElasticSearch數據和日志的文件夾，這里為了區分，我們可以根據不同的節點創建不同的文件夾。這里的文件夾創建用我們剛剛創建好的用戶去創建，切換到elastic用戶，然后創建文件夾。

su elastic

mkdir /home/elk
mkdir /home/elk/masternode
mkdir /home/elk/masternode/data
mkdir /home/elk/masternode/logs
mkdir /home/elk/datanode
mkdir /home/elk/datanode/data
mkdir /home/elk/datanode/logs

創建成功之后，我們先修改masternode節點的配置，修改完成之后在同級目錄進行copy一下，名稱為datanode，然后只需少許更改datanode節點的配置即可。這里我們要修改elasticsearch.yml和jvm.options文件即可！注意這里還是elastic用戶！

cd /opt/elk/

vim masternode/config/elasticsearch.yml
vim masternode/config/jvm.options

masternode配置

這里需要注意的是elasticsearch7.x的配置和6.x有一些不同，主要是在master選舉這塊。

masternode的elasticsearch.yml文件配置如下:

cluster.name: pancm-cluster
node.name: master-1
network.host: 192.168.0.1
path.data: /home/elastic/masternode/data
path.logs: /home/elastic/masternode/logs
discovery.seed_hosts: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"]
cluster.initial_master_nodes: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"]
node.master: true
node.data: false
transport.tcp.port: 9301
http.port: 9201
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
cluster.routing.allocation.cluster_concurrent_rebalance: 16
cluster.routing.allocation.node_concurrent_recoveries: 16
cluster.routing.allocation.node_initial_primaries_recoveries: 16

elasticsearch.yml文件參數配置說明:

cluster.name: 集群名稱，同一集群的節點配置應該一致。es會自動發現在同一網段下的es，如果在同一網段下有多個集群，就可以用這個屬性來區分不同的集群。
node.name: 該節點的名稱。命名格式建議為節點屬性+ip末尾
path.data: 數據存放的路徑。
path.logs: 日志存放的路徑。
network.host: 設置ip地址，可以是ipv4或ipv6的，默認為0.0.0.0。
transport.tcp.port:設置節點間交互的tcp端口，默認是9300。
http.port:設置對外服務的http端口，默認為9200。
node.master: 指定該節點是否有資格被選舉成為node，默認是true。
node.data: 指定該節點是否存儲索引數據，默認為true。
。。。

將jvm.options配置Xms和Xmx改成4G，配置如下:

-Xms4g
-Xmx4g

datanode配置

在配置完masternode節點的ElasticSearch之后，我們再來配置datanode節點的，我們將masternode節點copy一份並重命名為datanode，然后根據上述示例圖中紅色框出來簡單更改一下即可。
命令如下:

cd /opt/elk/
cp -r masternode/ datanode
vim datanode/config/elasticsearch.yml
vim datanode/config/jvm.options

datenode的elasticsearch.yml文件配置如下:

cluster.name: pancm-cluster
node.name: data-1
network.host: 192.168.0.1
path.data: /home/elastic/datanode/data
path.logs: /home/elastic/datanode/logs
discovery.seed_hosts: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"]
cluster.initial_master_nodes: ["192.168.0.1:9300","192.168.0.2:9300","192.168.0.3:9300"]
node.master: false
node.data: true
transport.tcp.port: 9300
http.port: 9200
network.tcp.keep_alive: true
network.tcp.no_delay: true
transport.tcp.compress: true
cluster.routing.allocation.cluster_concurrent_rebalance: 16
cluster.routing.allocation.node_concurrent_recoveries: 16
cluster.routing.allocation.node_initial_primaries_recoveries: 16

datanode的jvm配置請遵循如下規則，如果內存小於64G，則取對半，否則取32G。比如內存16G，該jvm設置8G，如果是128G，就可以設置32G。

將jvm.options配置Xms和Xmx改成8G，配置如下:

-Xms8g
-Xmx8g

注:配置完成之后需要使用ll命令檢查一下masternode和datanode權限是否屬於elastic用戶的，若不屬於，可以使用chown -R elastic:elastic +路徑命令進行賦予權限。

上述配置完成之后，可以使用相同的方法在其他的機器在操作一次，或者使用ftp工具進行傳輸，又或者使用scp命令進行遠程傳輸文件然后根據不同的機器進行不同的修改。
scp命令示例:

jdk環境傳輸:

scp -r /opt/java root@slave1:/opt
scp -r /opt/java root@slave2:/opt

ElasticSearch環境傳輸:

scp -r /opt/elk root@slave1:/opt
scp -r /home/elk root@slave1:/opt
scp -r /opt/elk root@slave2:/opt
scp -r /home/elk root@slave2:/opt

傳輸完成之后，在其他服務主要修改node.name、network.host這兩個配置即可。

3，elasticsearch啟動

完成elasticsearch集群安裝配置之后，需要使用elastic用戶來進行啟動，每台機器的每個節點都需要進行操作！
在/opt/elk的目錄下輸入:

su elastic
cd /opt/elk
./masternode/bin/elasticsearch -d
./datanode/bin/elasticsearch -d

啟動成功之后，可以輸入jps命令進行查看或者在瀏覽器上輸入 ip+9200或ip+9201進行查看。
出現以下界面表示成功！

在這里插入圖片描述

Elasticsearch的6.x版本可以看這篇文章:https://www.cnblogs.com/xuwujing/p/11385255.html

Kibana安裝

注：只需要在一台服務器上安裝即可！

1，文件准備

將下載下來的kibana-7.3.2-linux-x86_64.tar.gz的配置文件進行解壓
在linux上輸入:

tar -xvf kibana-7.3.2-linux-x86_64.tar.gz

然后移動到/opt/elk 里面，然后將文件夾重命名為 kibana-7.3.2
輸入:

mv kibana-7.3.2-linux-x86_64 /opt/elk
mv kibana-7.3.2-linux-x86_64 kibana-7.3.2

2，配置修改

進入文件夾並修改kibana.yml配置文件:

cd /opt/elk/kibana-7.3.2
vim config/kibana.yml

將配置文件新增如下配置:

server.port: 5601
server.host: "192.168.0.1"
elasticsearch.hosts: ["http://192.168.0.1:9200"]
elasticsearch.requestTimeout: 180000

3，Kinaba 啟動

在啟動這塊，和kibana6.x有一些區別。

root用戶下啟動

在kibana上一級文件夾輸入:

nohup ./kibana-7.3.2/bin/kibana --allow-root >/dev/null 2>&1 &

非root用戶啟動

需要將kibana設置的權限改為對用的用戶權限
權限修改命令實例:

chown -R elastic:elastic /opt/elk/kibana-7.3.2

非root用戶啟動命令:

nohup ./kibana-7.3.2/bin/kibana >/dev/null 2>&1 &

啟動成功之后再瀏覽器輸入:
http://IP:5601
在這里插入圖片描述

示例圖:

在這里插入圖片描述

Logstash安裝

注：只需要在一台服務器上安裝即可！

1，文件准備

將下載下來的logstash-7.3.2.tar.gz的配置文件進行解壓
在linux上輸入:

tar -xvf logstash-7.3.2.tar.gz

然后移動到/opt/elk 里面，然后將文件夾重命名為 logstash-7.3.2
輸入:

mv logstash-7.3.2.tar /opt/elk
mv logstash-7.3.2.tar logstash-7.3.2

2，配置修改

進入文件夾並創建logstash-filebeat.conf配置文件:

cd /opt/elk/logstash-7.3.2
touch logstash-filebeat.conf
vim logstash-filebeat.conf

在配置文件新增如下配置，filter部分請根據對應情況修改

input {
beats {
type => "java"
port => "5044"
}
}

filter {
grok {
match => { "message" =>"|%{DATA:log_time}|%{DATA:thread}|%{DATA:log_level}|%{DATA:class_name}|-%{GREEDYDATA:content}" }
}

ruby {
code => "event.set('timestamp', event.get('@timestamp').time.localtime + 86060)"
}
ruby {
code => "event.set('@timestamp',event.get('timestamp'))"
}
mutate {
remove_field => ["timestamp"]
}

date {
match => [ "log_timestamp", "yyyy-MM-dd-HH:mm:ss" ]
locale => "cn"
}

mutate {
rename => { "host" => "host.name" }
}

}

output {

stdout {
codec => rubydebug
}
elasticsearch {
hosts => ["192.168.0.1:9200"]
index => "mylogs-%{+YYYY.MM.dd}"
}
}

port :是logstash接受filebeat數據的端口，保證filebeat傳輸到logstash的端口是該端口即可。
hosts: 這個填寫elasticsearch的地址和設置的端口，集群地址可以用逗號隔開。
Index : 寫入索引庫的名稱。%{+YYYY.MM.dd} 表示按天創建索引庫。

3，Logstash 啟動

root用戶下啟動

在 Logstash 文件夾輸入:

nohup ./bin/logstash -f logstash-filebeat.conf >/dev/null 2>&1 &

或對配置文件進行熱加載啟動:

nohup ./bin/logstash -f logstash-filebeat.conf --config.reload.automatic >/dev/null 2>&1 &

示例圖:
在這里插入圖片描述

Filebeat安裝

1，文件准備

將下載下來的filebeat-7.3.2-linux-x86_64.gz的配置文件進行解壓
在linux上輸入:

tar -xvf filebeat-7.3.2-linux-x86_64.tar.gz

然后移動到/opt/elk 里面，然后將文件夾重命名為 filebeat-7.3.2
輸入

mv filebeat-7.3.2-linux-x86_64 /opt/elk
mv filebeat-7.3.2-linux-x86_64 filebeat-7.3.2

配置啟動測試，使用root用戶在filebeat文件夾輸入:

./filebeat -c filebeat_test.yml test config

啟動命令:

./filebeat -e -c filebeat_logstash.yml

后台啟動命令:

nohup ./filebeat -c filebeat_logstash.yml >/dev/null 2>&1 &

若是后台啟動，可以在filebeat統計目錄的logs目錄查看日志信息。

其它

ElasticSearch實戰系列:

音樂推薦

原創不易，如果感覺不錯，希望給個推薦！您的支持是我寫作的最大動力！
版權聲明:
作者：虛無境
博客園出處：http://www.cnblogs.com/xuwujing
CSDN出處：http://blog.csdn.net/qazwsxpcm
掘金出處：https://juejin.im/user/5ae45d5bf265da0b8a6761e4　　　　
個人博客出處：http://www.panchengming.com

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 kafka+elk日志系統實戰《ElasticSearch6.x實戰教程》之實戰ELK日志分析系統、多數據源同步 ELK系列（一）：安裝（elasticsearch + logstash + kibana） Docker安裝ELK日志分析系統 ELK(ElasticSearch, Logstash, Log4j)系統日志搭建 ELK日志分析系統 ELK 日志收集系統日志收集系統 ELK ELK日志分析系統 ELK系列--實時日志分析系統ELK 部署與運行中的問題匯總