誰來執行Rebalance以及管理consumer的group呢 coordinator來執行對於consumer group的管理，當consumer group的第一個consumer啟動的時候，它會去和kafka server確定誰是它們組的coordinator。之后該group內的所有 ...

的consumer產生reblance行為 ，即使大家不是同一個topic，這主要是由於kafka官方支持一 ...

轉載請注明原創地址 http://www.cnblogs.com/dongxiao-yang/p/6238029.html 最近需要詳細研究下kafka reblance過程中分區計算的算法細節，網上搜了部分說法，感覺比較晦澀且不太易懂，還是自己摳源碼比較簡便一點。 kafka ...

log.retention.ms 消息時間Kafka通常根據時間決定數據可以保留多久。默認使用log.retention.hours參數配置時間，默認值是168小時，也就是一周。除此之外，還有其他兩個參數，log.retention.minutes和log.retention.ms，這三個參數作用 ...

個 partition 的 Topic 。正常情況下，kafka 會為每個 Consumer 平均的分配 5 個分區。這 ...

Kafka的ack機制，指的是producer的消息發送確認機制，這直接影響到Kafka集群的吞吐量和消息可靠性。而吞吐量和可靠性就像硬幣的兩面，兩者不可兼得，只能平衡。 ACK有3個可選值，分別是1，0，-1。 ACK = 0 時， 發送一次 不論leader是否接收 ACK = 1 時 ...

1.概述 　　在Kafka0.9版本之前，Kafka集群時沒有安全機制的。Kafka Client應用可以通過連接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。來獲取存儲在Zookeeper中的Kafka元數據信息。拿到Kafka Broker地址后，連接 ...

kafka之所以那么快，其中一個很大的原因就是零拷貝（Zero-copy）技術，零拷貝不會kafka的專利，而是操作系統的升級，又比如Netty，也用到了零拷貝。 傳統IO kafka的數據是要落入磁盤的，那么必然牽扯到磁盤的IO，傳統磁盤IO又叫做緩存IO，效率是很低的，那么為什么效率低下 ...