elasticsearch安裝與使用(6)-- Logstash安裝與配置


由於elasticsearch的search guard 不支持 elasticsearch的jdbc,所以如果安裝了search guard認證插件之后,基本上jdbc就廢了,所以我們需要用到logstash來代替jdbc生成數據索引。

簡介

Logstash是一個接收,處理,轉發日志的工具。支持系統日志,webserver日志,錯誤日志,應用日志,總之包括所有可以拋出來的日志類型。
在一個典型的使用場景下(ELK):用Elasticsearch作為后台數據的存儲,kibana用來前端的報表展示。Logstash在其過程中擔任搬運工的角色,它為數據存儲,報表查詢和日志解析創建了一個功能強大的管道鏈。Logstash提供了多種多樣的 input,filters,codecs和output組件,讓使用者輕松實現強大的功能。

依賴條件:JAVA

Logstash運行僅僅依賴java運行環境(jre)。各位可以在命令行下運行java -version命令 顯示類似如

 

1.下載安裝Logstash

下載

進入elasticsearch官網的下載頁面,尋找對應你elasticsearch版本的Logstash,例如對應我elasticsearch的Logstash是2.3.4

 

進入后選擇RPM > 右鍵點擊 -- 復制鏈接地址

wget https://download.elastic.co/logstash/logstash/packages/centos/logstash-all-plugins-2.3.4-1.noarch.rpm

安裝

rpm -ivh logstash-all-plugins-2.3.4-1.noarch.rpm

2.下載mysql java 驅動

mysql的官網下載

 

 

下載后在window解壓得到mysql-connector-java-5.1.40-bin.jar mysql_java驅動包,將這個包放到liunx系統的/data/文件夾即可

 

 

以下內容為博主自己項目的配置內容,吃瓜群眾不需理會!

1.修改配置文件

在/data/ 文件夾生成項目配置文件,

cd /data/

vim logstash_view_all.conf

修改以下內容

注:密碼不需要填寫加密后的結果,直接填123456

2.設置項目中elasticsearch配置文件

cd /data/www/項目路徑/ElasticSearch/

cp index_all-dist.sh index_all.sh

修改數據庫名,ip,帳號密碼,集群等信息,項目的Elasticsearch的文件夾路徑等信息

vim index_all.sh

3.設置配置reindex.php文件

cp reindex-dist.php reindex.php

vim  reindex.php

修改ip地址

 

4.開啟elasticsearch並且配置開機自啟動

systemctl start elasticsearch

systemctl enable elasticsearch

5.修改項目配置文件
在命令行查看elasticsearch帳號密碼是否配置成功

curl -XGET "http://shifu:123456@127.0.0.1:9200"

6.修改項目中配置文件

vim Application/Common/Conf/config.php 
         /*elasticsearch相關配置*/
         'ELASTIC_SEARCH' => array(
                 'hosts'         => array(
                         'http://shifu:123456@192.168.117.128:9200'//安全插件配置的帳號密碼為shifu,123456
                 ),                                                                                                           
                 'index'         => 'test'
         )

7.運行Logstash,生成索引;生成索引后,Logstash會自動關閉

/opt/logstash/bin/logstash -f /data/logstash_view_all.conf 

查看Logstash的運行狀態

ps -ef |grep logstash

查看索引生成效果

在瀏覽器中輸入

http://dev.test.net:9200/test/_search

 成功生成顯示

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM