logstash+es+kibana+redis搭建

本文轉載自查看原文 2015-09-21 13:30 3248

環境信息：

CentOS 6.5

redis 3.0.4

logstash

elasticsearch

kibana

服務端ip:192.168.0.65

客戶端ip:192.168.0.66

關系結構圖：

圖片引用自：http://www.wklken.me/posts/2015/04/26/elk-for-nginx-log.html

安裝redis

首先下載redis

wget http://download.redis.io/releases/redis-3.0.4.tar.gz

下載之后解壓，編譯安裝

tar -zvxf redis-3.0.4.tar.gz

make

make install

然后啟動redis

redis-server redis.conf &

添加&符號表示后台啟動

安裝logstash

服務器端

首先安裝java環境這里使用比較簡單的方法

yum install jdk –y

如果你手動安裝的話建議安裝java1.8

下載logstash

wget https://download.elastic.co/logstash/logstash/logstash-1.5.4.tar.gz

下載之后解壓

tar –zxvf logstash-1.5.4.tar.gz

然后到logstash目錄下，創建config目錄並創建一個logstash_server.conf文件，創建logs目錄存放日志並創建logstash.log文件

編輯文件

vim logstash_server.conf

將一下內容寫入到logstash_server.conf中

input {
        redis {
                host => "127.0.0.1"           #本地的reds地址
                port => 6379                      #redis端口
                type => "redis-input"           #輸入類型
                data_type => "list"               #使用redis的list存儲數據
                key => "key_count"
        }
}

output {
        stdout {}
        elasticsearch {
                host => "127.0.0.1"               #elasticsearch地址
                cluster => "elasticsearch"
                codec => "json"
                protocol => "http"                  #elasticsearch使用的協議
        }
}

配置完成后啟動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &

數據采集端

數據采集端的安裝步驟與服務器端的安裝步驟相同

只是在配置文件有所不同

在數據采集端創建logstash_client.conf

數據采集端的conf文件配置為：

input {
	file {
		type => "type_count"

                 #日志所在的目錄

   	        path => "/data/logs/count/stdout.log", "/data/logs/count/stderr.log"]
		exclude => ["*.gz", "access.log"]   #排除一些不想加入的日志
	}   
}

output {
	stdout {}
	redis {
		host => "192.168.0.65"
		port => 6379
		data_type => "list"         #數據類型也要保持一致
		key => "key_count"          #key 要與服務器端的相同 
	}   
}

配置完成后啟動logstash

bin/logstash agent --verbose --config config/logstash_server.conf --log logs/logstash.log &