ELK-6.5.3學習筆記–elk基礎環境安裝


本文預計閱讀時間 13 分鍾

以往都是紙上談兵,畢竟事情也都由部門其他小伙伴承擔了,因此自己雖然也整理了筆記,當真的需要部署起來的時候,卻發現並沒有這個能力,這次也幾經磨難,總算修成正果,特此記錄一下。

首先來快速將一個簡易的環境部署起來。
其中防火牆關閉,selinux關閉等的就不多說了,系統是CentOS-7.3,干凈而且初始化過了的環境。

1,准備工作。

  • 安裝一些依賴包。
  
  
 
 
         
  1. yum -y install lrzsz vim curl wget java ntpdate && ntpdate -u cn.pool.ntp.org

這里java環境是非常重要的,如果不通過yum安裝,源碼方式也是可以的。但要注意配置好環境變量。

  • 配置yum源。

添加源:

  
  
 
 
         
  1. cat > /etc/yum.repos.d/elk.repo << EOF
  2. [elasticsearch-6.x]
  3. name=Elasticsearch repository for 6.x packages
  4. baseurl=https://artifacts.elastic.co/packages/6.x/yum
  5. gpgcheck=1
  6. gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
  7. enabled=1
  8. autorefresh=1
  9. type=rpm-md
  10. EOF

導入key:

  
  
 
 
         
  1. rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

如果執行這一步報錯,則有可能是主機時間問題,可以同步一下主機時間,再執行!

注:一開始我想着把elk三個安裝包都緩存下來,這樣以后安裝起來就會方便的多了,於是我這么做了,但是后來發現,經過緩存的包安裝的elk集群,使用的時候是一種沒有授權的狀態,后來想起正常安裝時有這樣一個導入key的操作,思來想去,大概就是跟這一步有關系了。最后還是老老實實的通過這樣一個流程方式進行安裝了。

2,安裝elasticsearch。

直接yum安裝。

  
  
 
 
         
  1. yum -y install elasticsearch

啟動服務。

  
  
 
 
         
  1. systemctl daemon-reload
  2. systemctl enable elasticsearch.service
  3. systemctl start elasticsearch.service
  4. systemctl status elasticsearch.service
  5. curl localhost:9200

調整一下配置文件:

  
  
 
 
         
  1. [root@elk ~]$egrep -v "^#|^$" /etc/elasticsearch/elasticsearch.yml
  2. cluster.name: my-application
  3. node.name: node-1
  4. path.data: /logs/elasticsearch6
  5. path.logs: /logs/elasticsearch6/log
  6. network.host: 0.0.0.0
  7. http.port: 9200
  8. discovery.zen.ping.unicast.hosts: ["elk-node1"]
  9. discovery.zen.minimum_master_nodes: 1
  10. xpack.security.enabled: false
  • cluster.name:自定義集群名,相同集群內的節點設置相同的集群名
  • node.name:自定義節點名,建議統一采用節點hostname
  • path.data:data存儲路徑,這里更改成自定義以應對日志的big。
  • path.logs:log存儲路徑,是為es自己的日志。
  • 注意創建上邊兩項定義的兩個文件目錄。否則會啟動失敗。
  
  
 
 
         
  1. mkdir -p /logs/elasticsearch6/log
  2. cd /logs
  3. chown -R elasticsearch.elasticsearch elasticsearch6/
  • 注意要更改對應目錄的權限,否則es啟動會報如下錯誤。
  
  
 
 
         
  1. [root@elk logs]$systemctl status elasticsearch
  2. elasticsearch.service - Elasticsearch
  3. Loaded: loaded (/usr/lib/systemd/system/elasticsearch.service; enabled; vendor preset: disabled)
  4. Active: failed (Result: exit-code) since Fri 2018-12-14 15:12:48 CST; 5min ago
  5. Docs: http://www.elastic.co
  6. Process: 79428 ExecStart=/usr/share/elasticsearch/bin/elasticsearch -p ${PID_DIR}/elasticsearch.pid --quiet (code=exited, status=1/FAILURE)
  7. Main PID: 79428 (code=exited, status=1/FAILURE)
  8. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Null object returned for RollingFile in Appenders.
  9. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "rolling" for logger config "root"
  10. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "index_indexing_slowlog_rolling" for logger config "index.indexing.slowlog.index"
  11. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "audit_rolling" for logger config "org.elasticsearch.xpack.security....gAuditTrail"
  12. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "index_search_slowlog_rolling" for logger config "index.search.slowlog"
  13. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,084 main ERROR Unable to locate appender "deprecated_audit_rolling" for logger config "org.elasticsearch.xpac...gAuditTrail"
  14. Dec 14 15:12:48 elk elasticsearch[79428]: 2018-12-14 15:12:48,085 main ERROR Unable to locate appender "deprecation_rolling" for logger config "org.elasticsearch.deprecation"
  15. Dec 14 15:12:48 elk systemd[1]: elasticsearch.service: main process exited, code=exited, status=1/FAILURE
  16. Dec 14 15:12:48 elk systemd[1]: Unit elasticsearch.service entered failed state.
  17. Dec 14 15:12:48 elk systemd[1]: elasticsearch.service failed.
  18. Hint: Some lines were ellipsized, use -l to show in full.
  • network.host:es監聽地址,采用"0.0.0.0",表示允許所有設備訪問。
  • http.port:es監聽端口,可不取消注釋,默認即此端口。
  • discovery.zen.ping.unicast.hosts:集群節點發現列表,也可采用ip的形式
  • discovery.zen.minimum_master_nodes:如果暫時是單節點部署,可以設置成1
  • xpack.security.enabled:添加這條,這條是配置kibana的安全機制,暫時關閉。

重啟es。

  
  
 
 
         
  1. systemctl restart elasticsearch.service
  2. systemctl status elasticsearch.service

3,安裝logstash。

直接yum安裝。

  
  
 
 
         
  1. yum -y install logstash

配置logstash。

  
  
 
 
         
  1. [root@elk ~]$egrep -v "^#|^$" /etc/logstash/logstash.yml
  2. path.data: /var/lib/logstash
  3. path.config: /etc/logstash/conf.d
  4. path.logs: /var/log/logstash

這個地方重要的是第二條配置,同許多應用類似的,這里定義了一個include的目錄,以后我們的多個應用實例就可以直接放置在這個目錄下了,這里作為了解,后邊並不會應用配置好的logstash,原因在后邊會說。

然后定義此logstash不再使用系統管理啟動,而是以后通過命令行來起對應的logstash實例。
同時創建軟鏈接,從而讓系統能夠在/usr/share/logstash下讀取到相對應的logstash配置信息。

  
  
 
 
         
  1. systemctl disable logstash.service
  2. ln -s /etc/logstash /usr/share/logstash/config

然后logstash先放在這里,不用啟動,對應的日志等操作,后邊就會介紹了。

4,安裝kibana

直接yum安裝。

  
  
 
 
         
  1. yum -y install kibana

配置kibana。

  
  
 
 
         
  1. [root@elk ~]$egrep -v "^#|^$" /etc/kibana/kibana.yml
  2. server.port: 5601
  3. server.host: "0.0.0.0"
  4. elasticsearch.url: "http://10.100.120.82:9200"
  5. kibana.index: ".newkibana"
  6. xpack.security.enabled: false #添加這條,這條是配置kibana的安全機制,暫時關閉。
  • kibana.index:原來默認是".kibana",但是新版本的kibana啟動之后發現無法訪問,訪問之后拋出一個異常:kibana server is not ready yet,那么回來把配置更改成".newkibana",然后重啟kibana,再次訪問,即可成功。

啟動kibana。

  
  
 
 
         
  1. systemctl enable kibana.service
  2. systemctl restart kibana
  3. systemctl status kibana

到這兒,基本上,作為單台的elk主機上的工作基本上已經完成,可以說非常簡單,而,戲,也從此剛剛開始而已。


weinxin
掃碼訂閱本站,第一時間獲得更新
微信掃描二維碼,訂閱我們網站的動態,另外不定時發送WordPress小技巧,你可以隨時退訂,歡迎訂閱哦~

二丫講梵 , 版權所有丨如未注明 , 均為原創丨本網站采用 BY-NC-SA協議進行授權 , 轉載請注明 <一>ELK-6.5.3學習筆記–elk基礎環境安裝
喜歡 (6)
[如果想支持本站,可支付寶贊助]
分享 (0)
原文地址:http://www.eryajf.net/2351.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM