1.1 背景介紹 最近，騰訊雲的一個重要客戶發現kafka broker內部的topic分區數據存儲分布不均勻，導致部分磁盤100%耗盡，而部分磁盤只有40%的消耗量。 分析原因，發現存在部分topic的分區數據過於集中在某些磁盤導致，比如，以下截圖顯示的/data5 數據盤 ...

1.概述 Kafka的使用場景非常廣泛，一些實時流數據業務場景，均依賴Kafka來做數據分流。而在分布式應用場景中，數據遷移是一個比較常見的問題。關於Kafka集群數據如何遷移，今天筆者將為大家詳細介紹。 2.內容 本篇博客為大家介紹兩種遷移場景，分別是同集群數據遷移、跨集群數據遷移。如下圖 ...

。 二 集群擴容后數據是不會自動均衡到新機器上的，需要采用kafka-reassign-part ...

...

1.概述 在實際的應用場景中，數據存儲在HBase集群中，但是由於一些特殊的原因，需要將數據從HBase遷移到Kafka。正常情況下，一般都是源數據到Kafka，再有消費者處理數據，將數據寫入HBase。但是，如果逆向處理，如何將HBase的數據遷移到Kafka呢？今天筆者就給大家來分享一下具體 ...

隨着業務的迅速發展，農業銀行某系統承擔的運行壓力越來越大。現階段， 該系統每天的交易量在2300 萬筆以上，峰值達2950 萬筆。交易量的攀升導致了后台數據庫數據量的激增，從而影響了聯機程序響應時間，也增加了系統各類資源開銷和后續數據分析的處理時間。為保障系統穩定運行，項目組從增加系統資源、優化 ...

🍎✨ 數據備份與遷移 參考文章 ❗️pg_dump命令說明 ❗️pg_restore命令說明 Postgresql備份與還原命令pg_dump PostgreSQL pg_dump&psql 數據的備份與恢復 1、首先安裝一下postgresql ❗️❗️❗️特別要注意版本 ...

，因為1.1之前Kafka只支持分區數據在不同broker間的重分配，而無法做到在同一個broker下的不同磁 ...