Linux下ELK環境搭建

一.准備工作

准備3台機器，這樣才能完成分布式集群的實驗，當然能有更多機器更好：

• 192.168.3.64（e1）
• 192.168.3.62  (e2)
• 192.168.3.63（e3）

角色划分：

• 3台機器全部安裝jdk1.8，因為elasticsearch是java開發的
• 3台全部安裝elasticsearch (后續都簡稱為es)
• e1作為主節點
• e2,e3作為數據節點
• e1上需要安裝kibana
• 在e2上安裝 logstash

 

二.es的安裝配置

2.1es下載安裝

[root@master-node ~]# rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch
[root@master-node ~]# vim /etc/yum.repos.d/elastic.repo # 增加以下內容
[elasticsearch-6.x]
name=Elasticsearch repository for 6.x packages
baseurl=https://artifacts.elastic.co/packages/6.x/yum
gpgcheck=1
gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
enabled=1
autorefresh=1
type=rpm-md
[root@master-node ~]# yum install -y elasticsearch

2.2主節點e1配置

[root@master-node ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下內容
cluster.name: master-node # 集群中的名稱
node.name: master # 該節點名稱
node.master: true # 意思是該節點為主節點
node.data: false # 表示這不是數據節點
network.host: 0.0.0.0 # 監聽全部ip，在實際環境中應設置為一個安全的ip
http.port: 9200 # es服務的端口號
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自動發現

2.3 數據節點e2配置

[root@gtp3 ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下內容
cluster.name: master-node # 集群中的名稱
node.name: data-node1 # 該節點名稱
node.master: false # 意思是該節點為主節點
node.data: true # 表示這不是數據節點
network.host: 0.0.0.0 # 監聽全部ip，在實際環境中應設置為一個安全的ip
http.port: 9200 # es服務的端口號
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自動發現

2.4數據節點e3配置

[root@gtp3 ~]# vim /etc/elasticsearch/elasticsearch.yml # 增加或更改以下內容
cluster.name: master-node # 集群中的名稱
node.name: data-node2 # 該節點名稱
node.master: false # 意思是該節點為主節點
node.data: true # 表示這不是數據節點
network.host: 0.0.0.0 # 監聽全部ip，在實際環境中應設置為一個安全的ip
http.port: 9200 # es服務的端口號
discovery.zen.ping.unicast.hosts: ["192.168.3.64", "192.168.3.62", "192.168.3.63"] # 配置自動發現

2.5 在主節點e1中輸入下面命令，啟動es

systemctl start elasticsearch.service

2.6 查看es是否啟動

[root@gtp1 ~]# ps aux |grep elasticsearch

 

[root@gtp1 ~]# netstat -lntp |grep java  # es服務會監聽兩個端口

9300端口是集群通信用的，9200則是數據傳輸時用的。

主節點啟動成功后，依次啟動其他節點即可。

2.7 查看集群情況

 

 

[root@gtp1 ~]# curl 'localhost:9200/_cluster/health?pretty'

 

三.安裝kibana

3.1 下載安裝kibana

[root@gtp1 ~]# yum -y install kibana 

或者

[root@gtp1 ~]# wget https://artifacts.elastic.co/downloads/kibana/kibana-6.0.0-x86_64.rpm [root@gtp1 ~]# rpm -ivh kibana-6.0.0-x86_64.rpm

3.2 kibana配置

[root@gtp1 ~]#vim /etc/kibana/kibana.yml # 增加以下內容

server.port: 5601  # 配置kibana的端口 server.host: 192.168.77.128 # 配置監聽ip elasticsearch.url: "http://192.168.77.128:9200" # 配置es服務器的ip，如果是集群則配置該集群中主節點的ip logging.dest: /var/log/kibana.log # 配置kibana的日志文件路徑，不然默認是messages里記錄日志

3.3 創建日志文件

[root@gtp1 ~]# touch /var/log/kibana.log; chmod 777 /var/log/kibana.log

3.4 啟動kibana服務，並檢查進程和監聽端口

 

[root@gtp1 ~]#systemctl start kibana

[root@gtp1 ~]# ps aux |grep kibana
root 16528 0.0 0.0 112660 968 pts/2 S+ 10:47 0:00 grep --color=auto kibana
kibana 29265 0.4 0.7 1315604 239188 ? Ssl Sep19 39:09 /usr/share/kibana/bin/../node/bin/node --no-warnings /usr/share/kibana/bin/../src/cli -c /etc/kibana/kibana.yml

3.5 瀏覽器訪問http://192.168.77.128:5601/ ,查看kibana

 

 

四. 安裝 logstash

4.1 在e2中安裝logstash

 

[root@gtp2 ~]# yum install -y logstash

或者

[root@gtp2 ~]# wget https://artifacts.elastic.co/downloads/logstash/logstash-6.0.0.rpm [root@gtp2 ~]# rpm -ivh logstash-6.0.0.rpm

4.2 啟動logstash

 

[root@gtp2 ~]#systemctl restart logstash