ELK7.4.2安裝教程

ELK簡介

“ELK”是三個開源項目的首字母縮寫，這三個項目分別是：Elasticsearch、Logstash 和 Kibana。Elasticsearch 是一個搜索和分析引擎。Logstash 是服務器端數據處理管道，能夠同時從多個來源采集數據，轉換數據，然后將數據發送到諸如 Elasticsearch 等“存儲庫”中。Kibana 則可以讓用戶在 Elasticsearch 中使用圖形和圖表對數據進行可視化。

更多參考：什么是 ELK Stack

一、環境准備

本教程所用系統為 CentOS7.7 ,建議使用 CentoOS7.4 及以上版本。
所用ELK版本為7.4.2。

修改主機名

方便區分主機與規范化管理，如果配置es集群環境，請配置正規DNS，或者在/etc/hosts文件中寫入對應關系。

hostnamectl set-hostname node-1

重啟主機

安裝JKD1.8開發環境

雖然es7.x及以后版本自帶JDK，此處安裝是logstash也要用。如果不裝logstash的話可選擇跳過此步。

yum安裝JKD1.8

yum install java-1.8.0-openjdk-devel

設置環境變量（無腦粘貼即可）

jh_pwd=`ls -d /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.*`
JAVA_HOME='$JAVA_HOME'
cat >> /etc/profile <<EOF
#set java environment
   JAVA_HOME=$jh_pwd
   JRE_HOME=$JAVA_HOME/jre
   CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib
   PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
   export JAVA_HOME JRE_HOME CLASS_PATH PATH
EOF

使環境變量生效

source /etc/profile

修改文件與線程數限制limits.conf

cat >> /etc/security/limits.conf <<EOF
*               soft    nofile          65536
*               hard    nofile          65536
*               soft    nproc           4096
*               hard    nproc           4096
EOF

修改vm.max_map_count

sed -i '$a vm.max_map_count=655360' /etc/sysctl.conf

下載安裝包

wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.4.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.4.2-x86_64.rpm
wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.2.rpm

二、安裝ELK(無認證)

生產環境下請配置傳輸加密與安全認證

rpm包自動安裝

此方法可以用systemctl方式啟動服務，方便管理。

rpm -ivh elasticsearch-7.4.2-x86_64.rpm
rpm -ivh kibana-7.4.2-x86_64.rpm
rpm -ivh logstash-7.4.2.rpm

創建數據目錄並設置權限

rpm安裝完es,會自動創建elasticsearch用戶與用戶組，無需手動創建。

mkdir -p /data/es-data
chown -R elasticsearch:elasticsearch /data/es-data/

調整JVM內存

此處為將1g改為8g,可設置為物理內存的一半or more

sed -i 's/-Xms1g/-Xms8g/g' /etc/elasticsearch/jvm.options
sed -i 's/-Xmx1g/-Xmx8g/g' /etc/elasticsearch/jvm.options

編輯es配置文件

注釋掉默認數據目錄

sed -i 's/path.data/#path.data/g' /etc/elasticsearch/elasticsearch.yml

追加自定義配置，根據自己需求更改集群及節點名稱

cat >> /etc/elasticsearch/elasticsearch.yml <<EOF
#------開始定義------
#集群名
cluster.name: my-es
#node名
node.name: node-1
#數據目錄
path.data: /data/es-data
network.host: 0.0.0.0
http.port: 9200
http.cors.enabled: true 
http.cors.allow-origin: "*"
cluster.initial_master_nodes: ["node-1"]
EOF

啟動es

systemctl enable elasticsearch
systemctl start elasticsearch

驗證es

訪問http://xxx:9200 會出現如下類似response。

如果啟動faided,可查看/var/log/elasticsearch/my-es_server.json進行排錯

{
  "name" : "node-1",
  "cluster_name" : "my-es",
  "cluster_uuid" : "CxiYplRUTB-CxFF_3OYZWA",
  "version" : {
    "number" : "7.4.2",
    "build_flavor" : "default",
    "build_type" : "rpm",
    "build_hash" : "2f90bbf7b93631e52bafb59b3b049cb44ec25e96",
    "build_date" : "2019-10-28T20:40:44.881551Z",
    "build_snapshot" : false,
    "lucene_version" : "8.2.0",
    "minimum_wire_compatibility_version" : "6.8.0",
    "minimum_index_compatibility_version" : "6.0.0-beta1"
  },
  "tagline" : "You Know, for Search"
}

修改kibana配置文件

cat >> /etc/kibana/kibana.yml <<EOF
#----customed----:
server.port: 5601
server.host: "0.0.0.0"
kibana.index: ".kibana"
elasticsearch.hosts: "http://localhost:9200"
EOF

啟動kibana

systemctl enable kibana
systemctl start kibana

訪問http://xxx:9200 即可訪問kibana管理界面

關於logstash

相關參考：logstash啟動失敗的問題追查

ls /etc/logstash/
conf.d  jvm.options  log4j2.properties  logstash-sample.conf  logstash.yml  pipelines.yml  startup.options

logstash服務中，會去pipelines.yml中過濾數據，但這個文件的內容其實指向的是conf.d這個目錄，因此我們要在conf.d目錄下創建好配置文件，以備logstash服務來對數據進行使用。

systemctl enable kibana
systemctl start kibana

排錯可查看/var/log/logstash/logstash-plain.log