眾所周知，由於Zookeeper並不適合大批量的頻繁寫入操作，新版Kafka已推薦將consumer的位移信息保存在Kafka內部的topic中，即__consumer_offsets topic，並且默認提供了kafka_consumer_groups.sh腳本供用戶查看consumer信息 ...

我現在使用的是librdkafka 的C/C++ 的客戶端來生產消息，用flume來輔助處理異常的數據，，， 但是在前段時間，單獨使用flume測試的時候發現，flume不能對分區進行負載均衡！同一 ...

通過groupname 獲取groupid 通過命令查 ./bin/kafka-consumer-groups.sh --bootstrap-server ip:9092 --describe --group consumer2 保存到 kafka配置 ...

__consumer_offsets consumer默認將offset保存在Kafka一個內置的topic中，該topic為__consumer_offsets __consumer_offsets 為kafka中的topic， 那就可以通過消費者進行消費. 大概思路 ...

拋出問題： 原因分析： 我在筆記本上搭建了kafka集群，共3個Broker，來解決這個問題。下面是一些記錄。 說明：如果你的__consumer_offsets這個topic已經被創建了，而且只存在一台broker上，如果你直接使用命令刪除 ...

僅個人實踐中所遇到的問題，若有不對的，歡迎交流！ 一、場景描述 　　kafka集群中有幾台突然掛了，后台日志顯示設備空間滿了，消息無法寫入__consumer_offsets topic的分區中了。查看kafka數據目錄下各個文件的大小，發現__consumer_offsets topic ...

KAFKA 的TOPIC __consumer_offsets 的清理 查看現有的__consumer_offsets 清理策略 打印結果如下： 刪除特有的清理策略 網上的資料都說 ，刪除掉__consumer_offsets的特殊的清理策略后，默認會使用我們配置文件的清理 ...

系列導航 一、kafka搭建-單機版 二、kafka搭建-集群搭建 三、kafka集群增加密碼驗證 四、kafka集群權限增加ACL 五、kafka集群__consumer_offsets副本數修改 六、java操作kafka(沒有密碼驗證) 七、java操作kafka(有密碼驗證 ...