最近看了kafka2.4新版本的一些功能特性，不得不说，在kafka2.0以后，kafka自身就比较少推出一些新的feature了，基本都是一些修修补补的东西。倒是kafka connect和kafka stream相关的开发工作做的比较多。可能kafka的野心也不局限于要当一个中间件，而是要实现 ...

一直觉得kafka-consumer-groups.sh的输出信息有点少，总算在2.0中得到了改善。新版本ConsumerGroupCommand增加了查看成员信息、组状态信息，算是弥补了之前的不足。今天试用了一下，感觉还不错，推荐大家也用一用~~ 1. 查看成员信息(简约版 ...

1.1 背景介绍 最近，腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀，导致部分磁盘100%耗尽，而部分磁盘只有40%的消耗量。 分析原因，发现存在部分topic的分区数据过于集中在某些磁盘导致，比如，以下截图显示的/data5 数据盘 ...

1.概述 Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天笔者将为大家详细介绍。 2.内容 本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图 ...

欢迎大家前往云+社区，获取更多腾讯海量技术实践干货哦~ 作者：mikealzhou 本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进行分区数据迁移 ...

Kafka 2.6引入的新功能：消费者能够主动触发Rebalance。一直以来，Rebalance的触发都是由Coordinator来执行的，但有些场景下消费者端能够主动触发Rebalance会很有必要。举个例子，在ConsumerPartitionAssignor接口 ...

Apache Kafka近日推出0.11版本。这是一个里程碑式的大版本，特别是Kafka从这个版本开始支持“exactly-once”语义(下称EOS， exactly-once semantics)。本文简要介绍一下0.11版本主要的功能变更，下面中的每一项都值得专门写篇文章好好聊聊 ...

。 二 集群扩容后数据是不会自动均衡到新机器上的，需要采用kafka-reassign-part ...