kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker ...

。 二 集群扩容后数据是不会自动均衡到新机器上的，需要采用kafka-reassign-part ...

...

kafka是为分布式环境设计的,因此如果日志文件,其实也可以理解成消息数据库,放在同一个地方,那么必然会带来可用性的下降,一挂全挂,如果全量拷贝到所有的机器上,那么数据又存在过多的冗余,而且由于每台机器的磁盘大小是有限的,所以即使有再多的机器,可处理的消息还是被磁盘所限制,无法 ...

（一）kafka修改topic分区的位置 环境：kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下： 2. ...

１．迁移topic到新增的node上 假如现在一个kafka集群运行三个broker，broker.id依次为101,102,103,后来由于业务数据突然暴增，需要新增三个broker,broker.id依次为104,105,106.目的是要把chatmessage迁移到新增node上。脚本 ...

最近几天在做spark数据同步过程中，中间通过kafka集群处理消息，每次同步到一半就会出现同步不了 查看日志如下： 最开始看到这个问题很懵逼，完全找不到解决问题的切入口，期间也询问了架构师-因为这个kafka和spark都是他引进来的，同时也问了运维同事，有没有碰到这个问题，最后都是无法 ...

今天又有小伙伴在群里问 slot 和 kafka topic 分区(以下topic，默认为 kafka 的 topic )的关系，大概回答了一下，这里整理一份 首先必须明确的是，Flink Task Manager 的 slot 数 和 topic 的分区数是没有直接关系的，而这个问题其实是问 ...