一、 简介 Kafka是用scala语言编写，由Linkedin公司于2010年贡献给Apache成为一个开源的消息系统，它主要用于处理活跃的流式数据。遵从一般的MQ结构。Kafka对消息保存时根据Topic进行归类，此外kafka集群有多个kafka实例组成，每个实例 ...

　　之前写过Kafka集群的部署，不过那是基于宿主机的，地址：Kafka基础教程（二）：Kafka安装 　　和Zookeeper一样，有时想简单的连接Kafka用一下，那就需要开好几台虚拟机，如果Zookeeper部署在其他地方，那还得多开几台，用完还得关掉，否则太占内存，而且这样操作甚是繁琐 ...

一.kafka介绍 kafka是一个分布式、多副本、多订阅者、分区的，基于zoopkeeper协调的分布式日志系统。其主要特点为： 1.以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上的数据也能保证常数时间的访问性能。 2.高吞吐率。即使在非常廉价的商用机器上也能做到单机支持每秒 ...

创建一个三个broker的集群 修改副本默认值，KAFKA_DEFAULT_REPLICATION_FACTOR=3，默认是1，没有副本。设置为和broker数量一样 docker run -d --name kafka01 -p 9092:9092 -p 9999:9999 -e ...

Kafka介绍 官网：http://kafka.apache.org Kafka是一款性能非常好的并且支持分布式的消息队列中间件。由于它的高吞吐特性，Kafka通常使用在大数据领域，如日志收集平台。其实Kafka是一个流处理平台，这个概念不太好理解，之所以叫做流，是因为它在 ...

一. 关于kafka 　　Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop ...

Kafka集群部署 部署Kafka之前必须先部署好zookeeper 1. zookeeper分布式安装部署 1.1 集群规划 在master、slave01和slave02三个节点上部署Zookeeper。 1.2 解压安装 （1）进入存放zookeeper安装包目录，解压 ...

利用docker可以很方便的在一台机子上搭建kafka集群并进行测试。为了简化配置流程，采用docker-compose进行进行搭建。 kafka搭建过程如下： 编写docker-compose.yml文件,内容如下: 创建子网 docker ...