1.1 背景介绍 最近，腾讯云的一个重要客户发现kafka broker内部的topic分区数据存储分布不均匀，导致部分磁盘100%耗尽，而部分磁盘只有40%的消耗量。 分析原因，发现存在部分topic的分区数据过于集中在某些磁盘导致，比如，以下截图显示的/data5 数据盘 ...

1.概述 Kafka的使用场景非常广泛，一些实时流数据业务场景，均依赖Kafka来做数据分流。而在分布式应用场景中，数据迁移是一个比较常见的问题。关于Kafka集群数据如何迁移，今天笔者将为大家详细介绍。 2.内容 本篇博客为大家介绍两种迁移场景，分别是同集群数据迁移、跨集群数据迁移。如下图 ...

欢迎大家前往云+社区，获取更多腾讯海量技术实践干货哦~ 作者：mikealzhou 本文重点介绍kafka的两类常见数据迁移方式：1、broker内部不同数据盘之间的分区数据迁移；2、不同broker之间的分区数据迁移。 一、broker 内部不同数据盘之间进行分区数据迁移 ...

特性背景 消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。华为云DMS率先提供Kafka 1.1.0的专享版服务，支持消息事务特性。 支持事务消息有什么作用？消息事务是实现分布式 ...

１．迁移topic到新增的node上 假如现在一个kafka集群运行三个broker，broker.id依次为101,102,103,后来由于业务数据突然暴增，需要新增三个broker,broker.id依次为104,105,106.目的是要把chatmessage迁移到新增node上。脚本 ...

一 kafka集群扩容比较简单，机器配置一样的前提下只需要把配置文件里的brokerid改一个新的启动起来就可以。比较需要注意的是如果公司内网dns更改的不是很及时的话，需要给原有的旧机器加上新服务器的host，不然可能会产生controller服务器从zk上拿到域名但是解析不到新机器地址的情况 ...

摘要：本文稍微回顾一下传统迁移算法的流程、特性和局限之处，然后文章介绍几种解决当源域数据有某些访问限制的场景下实现迁移的算法。具体包括：ADDA-CVPR2017，FADA-ICLR2020，SHOT-ICML2020。 本文介绍一种特殊场景下的迁移算法：隐私保护下的迁移算法。首先，本文 ...

kafka集群扩容后，新的broker上面不会数据进入这些节点，也就是说，这些节点是空闲的；它只有在创建新的topic时才会参与工作。除非将已有的partition迁移到新的服务器上面；所以需要将一些topic的分区迁移到新的broker ...