结合上次ELK实验，这次增加ZK+Kafka。用kafka的9200端口通信，filebeat作为kafka的生产者，logstash作为kafka的消费者 filebeat 主机配置: [23:13:55 root@noise ~]#cat /etc/filebeat ...

...

概述 本文介绍使用ELK（elasticsearch、logstash、kibana） +　kafka来搭建一个日志系统。主要演示使用spring aop进行日志收集，然后通过kafka将日志发送给logstash，logstash再将日志写入elasticsearch ...

ELK集群在大规模的日志收集中面临着数据量大，收集不及时，或宕机的风险，可以选择单节点的redis，但是相比redis，kafka集群高可用的特性，更优，下面来配置kafka集群配置elk作为缓存的方法。 kafka集群的安装配置 一. 初始环境准备 1.服务器准备 ...

一、zookeeper介绍： ZooKeeper是一个分布式且开源的分布式应用程序协调服务。 zookeeper集群特性：整个集群种只要有超过集群数量一半的zookeeper工作只正常的，那么整个 ...

一、架构 1、拓扑 二、准备工作 1、软件信息 注意：Logstash kafka插件对kafka有版本要求，最高只能使用kafka_2.10-0.10.1.0版本 2、环境规划 三、安装配置 1、ES集群安装（两台ES安装 ...

此次使用kafka代替redis，elk集群搭建过程请参考：https://www.cnblogs.com/dmjx/p/9120474.html kafka名词解释： 1、话题（Topic）：是特定类型的消息流。消息是字节的有效负载（Payload），话题是消息的分类名或种子（Feed ...

一、准备工作 准备安装包 ELK下载地址：https://www.elastic.co/downloads zookeeper下载地址：https://www.apache.org/dyn/closer.cgi/zookeeper/ kafka下载地址：http ...