最近看了kafka2.4新版本的一些功能特性，不得不說，在kafka2.0以后，kafka自身就比較少推出一些新的feature了，基本都是一些修修補補的東西。倒是kafka connect和kafka stream相關的開發工作做的比較多。可能kafka的野心也不局限於要當一個中間件，而是要實現 ...

一直覺得kafka-consumer-groups.sh的輸出信息有點少，總算在2.0中得到了改善。新版本ConsumerGroupCommand增加了查看成員信息、組狀態信息，算是彌補了之前的不足。今天試用了一下，感覺還不錯，推薦大家也用一用~~ 1. 查看成員信息(簡約版 ...

1.1 背景介紹 最近，騰訊雲的一個重要客戶發現kafka broker內部的topic分區數據存儲分布不均勻，導致部分磁盤100%耗盡，而部分磁盤只有40%的消耗量。 分析原因，發現存在部分topic的分區數據過於集中在某些磁盤導致，比如，以下截圖顯示的/data5 數據盤 ...

1.概述 Kafka的使用場景非常廣泛，一些實時流數據業務場景，均依賴Kafka來做數據分流。而在分布式應用場景中，數據遷移是一個比較常見的問題。關於Kafka集群數據如何遷移，今天筆者將為大家詳細介紹。 2.內容 本篇博客為大家介紹兩種遷移場景，分別是同集群數據遷移、跨集群數據遷移。如下圖 ...

歡迎大家前往雲+社區，獲取更多騰訊海量技術實踐干貨哦~ 作者：mikealzhou 本文重點介紹kafka的兩類常見數據遷移方式：1、broker內部不同數據盤之間的分區數據遷移；2、不同broker之間的分區數據遷移。 一、broker 內部不同數據盤之間進行分區數據遷移 ...

Kafka 2.6引入的新功能：消費者能夠主動觸發Rebalance。一直以來，Rebalance的觸發都是由Coordinator來執行的，但有些場景下消費者端能夠主動觸發Rebalance會很有必要。舉個例子，在ConsumerPartitionAssignor接口 ...

Apache Kafka近日推出0.11版本。這是一個里程碑式的大版本，特別是Kafka從這個版本開始支持“exactly-once”語義(下稱EOS， exactly-once semantics)。本文簡要介紹一下0.11版本主要的功能變更，下面中的每一項都值得專門寫篇文章好好聊聊 ...

。 二 集群擴容后數據是不會自動均衡到新機器上的，需要采用kafka-reassign-part ...