Kafka的普及在很大程度上归功于它的设计和操作简单，如何自动调优Kafka副本的工作，挑战之一：如何避免follower进入和退出同步副本列表(即ISR)。如果某些topic的部分partition长期处于“under replicated”状态，会增加数据丢失的概率。Kafka通过“多副本 ...

一、Kafka集群 Kafka 使用 Zookeeper 来维护集群成员 (brokers) 的信息。每个 broker 都有一个唯一标识 broker.id，用于标识自己在集群中的身份，可以在配置文件 server.properties 中进行配置，或者由程序自动生成。下面是 Kafka ...

最近看了kafka2.4新版本的一些功能特性，不得不说，在kafka2.0以后，kafka自身就比较少推出一些新的feature了，基本都是一些修修补补的东西。倒是kafka connect和kafka stream相关的开发工作做的比较多。可能kafka的野心也不局限于要当一个中间件，而是要实现 ...

一、概述 　　为了提升集群的HA，Kafka从0.8版本开始引入了副本（Replica）机制，增加副本机制后，每个副本可以有多个副本，针对每个分区，都会从副本集（Assigned Replica，AR）中，选取一个副本作为Leader副本，所有读写请求都由Leader副本处理，其余的副本被称为 ...

一、Kafka 数据日志 1.主题 Topic 　　Topic 是逻辑概念。 　　主题类似于分类，也可以理解为一个消息的集合。每一条发送到 Kafka 的消息都会带上一个主题信息，表明属于哪个主题。 　　Kafka 的主题是支持多用户订阅的，即一个主题可以有零个、一个或者多个消费者来订阅 ...

composer的操作很多很杂，平时大都用不上，正要找又一时半会难找到 日常操作，走起 第一部分 ： 安装 composer.json 这个命令创建了一个 composer.json 文件，也可以手动创建编辑，申明依赖及版本。 composer.json 内容格式详见 ...

参考： https://blog.csdn.net/jediael_lu/article/details/77097361 申请一个topic，官方命令如下： bin/kafka-topics.sh --create ...

为了能够有效 治理负载失衡 Kafka 引入了优先副本( preferred replica) 的概念 所谓的优先副本是指在 AR 集合列表中的第 1个副本 如上面主题 topic partitions 分区 AR 集合 表（Replicas）为[1,2,0]， 那么分区的优先 ...