elk搭建的詳細步驟以及說明

更新太快參考官網

https://www.elastic.co/guide/en/elasticsearch/reference/7.7/rpm.html#rpm-repo

 

一：准備工作

1.准備一台虛擬機

192.168.175.222      elk-node2

 

2.關閉防火牆以及selinux

命令：systemctl stop firewalld       #關閉firewall防火牆

命令：iptables  -F                        #清除iptables防火牆規則

命令：setenforce 0      #臨時有效，重啟無效

命令：vim /etc/selinux/config         #selinux的配置文件路徑

 

3.部署java環境

將tar包解壓到 /usr/local下 版本為jdk-8u211-linux-x64.tar.gz     #路徑為/usr/local/jdk1.8.0_211(解包后自動生成)

命令：wget http://192.168.130.150/jdk/jdk-8u211-linux-x64.tar.gz       #下載需要的安裝包（可以自己去下載）

命令：tar xf jdk-8u211-linux-x64.tar.gz -C /usr/local/         #解包到/usr/local，意思是本機用戶環境啟動

命令：echo "export JAVA_HOME=/usr/local/jdk1.8.0_211" >> /etc/profile.d/jdk8.sh        #在配置文件里聲明路徑（指定路徑）

命令：echo "export CLASS_PATH=.:\$JAVA_HOME/lib/dt.jar:\$JAVA_HOME/jar/tools.jar:\$JAVA_HOME/jre/lib" >> /etc/profile.d/jdk8.sh       #在配置文件里聲明Java變量環境

命令：echo "export PATH=\$JAVA_HOME/bin:\$JAVA_HOME/jre/bin:\$PATH" >> /etc/profile.d/jdk8.sh         #在配置文件里聲明啟動Java變量環境

命令：echo "export LD_LIBRARY_PATH=\$LD_LIBRARY_PATH:/usr/local/apr/lib" >> /etc/profile.d/jdk8.sh            #在配置文件里聲明啟動Java變量環境路徑

命令：chmod +x /etc/profile.d/jdk8.sh       #給Java變量環境添加執行權限

命令：source /etc/profile.d/jdk8.sh          #重啟環境

命令：java -version            #查看Java變量環境

(注意：上面的命令可以直接做成腳本，不過執行完腳本之后，要重新source一下才可以，因為腳本內的java環境已經重啟，本地電腦的環境並沒有重啟)

 

 

 現在准備工作已經差不多了，接下來就是搭建elk

 

二：搭建elk

搭建elasticsearch

1.配置yum源

導入GPG key    #GPG公鑰

rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch         #檢查機制（類似密鑰）

命令：yum update curl              #如果報錯執行一下這個 刷新yum源

命令：vim /etc/yum.repos.d/elasticsearch.repo        #自定義yum源文件名

[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum         #指定包路徑
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch     #檢查機制
enabled=1
autorefresh=1
type=rpm-md

 

 

安裝目錄: 

命令：mkdir /usr/share/elasticsearch     #意思是本機用戶共用一定放在這

命令：yum -y  install elasticsearch         #yum源安裝

 

2.配置文件的修改

命令：chkconfig --add elasticsearch     #配置自動啟動

命令：mkdir -p /data/elasticsearch/lib     #指定數據文件路徑

命令：mkdir -p /data/elasticsearch/log      #指定日志文件路徑

命令：chmod 777 -R /data/elasticsearch     #添加目錄以及子目錄權限，可以讓任何數據和日志文件都能收集到

命令：vim /etc/elasticsearch/elasticsearch.yml           #修改elasticsearch配置文件

path.data: /data/elasticsearch/lib               #指定數據路徑

path.logs: /data/elasticsearch/log              #指定日志文件路徑

network.host: 0.0.0.0                                 #打開連接端口，允許所有

修改配置文件

命令：vim /etc/security/limits.conf          #設置連接次數

* soft nofile 65536
* hard nofile 65536          #放在文件最后

修改配置文件

命令：vim  /etc/elasticsearch/jvm.options        #設置內存大小配置文件

-Xms8g
-Xmx8g                #需要根據自己虛擬機的配置修改，內存的大小

啟動服務service elasticsearch

命令：service elasticsearch start

注意：如果啟動失敗

請輸入命令：tail -F /var/log/messages

which: no java in (/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin)

解決辦法：

命令：vim /etc/sysconfig/elasticsearch

在配置文件里添加   JAVA_HOME=/usr/local/jdk1.8.0_211   #指定java環境路徑

 

 

 然后再重啟服務

命令：service elasticsearch restart       #重啟

驗證安裝：

命令：curl -X GET "localhost:9200/"

看見這些就證明驗證成功了

端口配置
iptables -I INPUT -p tcp --dport 9200 -j ACCEPT            #允許端口9200通過，若清空了防火牆，就無需配置
service iptables save
service iptables restart

好了，現在elasticsearch已經搭建完成了，接下來搭建Logstash

 

三：搭建Logstash

1.先配置yum源

導入GPG key           #官方簽名機制

命令：rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch     #下載機制

注意：如果報錯，就不用下載了，前面已經下載一次了，如果安裝失敗，重新下載一次

如果還是報錯

解決方案：

命令：wget https://packages.elastic.co/GPG-KEY-elasticsearch --no-check-certificate     #查找相應的GPG密鑰，並導入到RPM

命令：rpm --import GPG-KEY-elasticsearch       #利用RPM下載密鑰

2.新建repo文件

命令：vim /etc/yum.repos.d/logstash.repo

[logstash-6.x]
name=Elastic repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

3.安裝
命令：yum -y install logstash

4.測試 加啟動 並且 需要持續的啟動

命令：/usr/share/logstash/bin/logstash -e 'input { stdin { } } output {stdout {} }'   #測試logstash

報錯：WARNING:Could not find logstash.yml which is typically located in $LS_HOME/config or /etc/logstash.You can specify the path using --path.settings.

Continuing using the defaults             #找不到logstash.yml，它通常位於$LS_HOME/config或/etc/logstash中

報錯：Could not find log4j2 configuration at path /usr/share/logstash/cinfig/log4j2.properties. Using default config which logs errors to the console             

#在路徑/usr/share/logstash/config/log4j2.properties.中找不到log4j2配置文件，無法建立控制台，找到log4j2配置文件放入上面路徑即可解決報錯

解決辦法：

命令：find / -name logstash.yml -type f           #利用find查找logstash.yml文件所在地

命令：find / -name log4j2.properties -type f        #利用find查找log4j2.properties文件所在地

然后創建/usr/share/logstash/config/目錄

命令：mkdir  /usr/share/logstash/config/

命令：cp -r /etc/logstash/logstash.yml   /usr/share/logstash/config/                  #將配置logstash.yml文件復制到 /usr/share/logstash/config/

命令：cp -r /etc/logstash/log4j2.properties  /usr/share/logstash/config/                 #將配置log4j2.properties文件復制到 /usr/share/logstash/config/

 

命令：vim /usr/share/logstash/config/logstash.yml

path.data: /data/elasticsearch/lib            #指定文件路徑

path.logs: /data/elasticsearch/log           #指定日志文件路徑

 

 5.創建日志收集規則

命令：vim /root/file.conf

input {
    file {
      path => "/var/log/messages"
      type => "system"
      start_position => "beginning"
    }
}                               #輸入規則

output {
    elasticsearch {
       hosts => ["192.168.1.151:9200"]
       index => "system-%{+YYYY.MM.dd}"
    }
}                             #輸出規則

 

 

 6.按照配置好的收集日志的規則去啟動logstash

命令：/usr/share/logstash/bin/logstash -f /root/file.conf

命令：/usr/share/logstash/bin/logstash -f /root/file.conf &              #后台登錄

注意：配置文件默認目錄配置文件拷貝到這下面（/etc/logstash/conf.d/）執行 systemctl restart logstach 是不行的

 只能指定文件啟動

輸入命令：ps aux | grep logstash看看服務是否啟動

 

好了，接下來就安裝kibana

 

四：安裝 Kibana

 

導入GPG Key
命令：rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

如果失敗，就將網站鏈接在瀏覽器上輸入一遍，然后會自動彈出對話框，然后點擊保存文件，

在命令行內再次輸入rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch就可以了

1.新建repo文件：

命令：vim  /etc/yum.repos.d/kibana.repo
[kibana-6.x]
name=Kibana repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md

2安裝
命令：yum -y  install kibana 

3.配置
命令：vim /etc/kibana/kibana.yml
   server.port: 5601             #打開kibana端口
   server.host: "0.0.0.0"              #可以收集所有網段的ip
   elasticsearch.hosts: ["http://localhost:9200"]           #打開節點端口
   i18n.locale: "zh-CN" #最后一行漢化                #可以支持中文，當然了，英語好的不用修改

4.啟動服務

命令：/usr/share/kibana/bin/kibana             #啟動服務

命令：systemctl restart kibana                    #持續開啟服務

溫馨提示：elasticsearch，logstash，kibana啟動服務的時候命令行會一直停在那，不能結束，否則后續步驟不能進行，多開幾個界面就行了

或者可以放在后台啟動也行，不過個人建議多開幾個界面，如果某個服務停了，利於排查故障

 

 

5.在瀏覽器上訪問http://192.168.175.100:5601           

 

 溫馨提示：kibana支持很多可視圖插件，如：elasticsearch-head-master，elasticsearch-kopf-master，bigdesk-master（集群插件），根據自己需要安裝

 

添加索引

 

 溫馨提示：因為是剛剛搭建完畢，所以里面並沒有什么數據，只能通過系統文件建立索引，只是為了演示

 

 

 溫馨提示：kibana的功能很多這里就不一一說明了，最好就是搭建完畢之后，自己隨便點點試試，自己摸索摸索，我也在摸索中

 

總結：。。。。。。。。。。。（此處省略一萬字）

我每次搭建的時候都會有一些報錯，還次次不一樣，上面是我總結的常見報錯，如果有其他報錯，歡迎留言，多多交流