Kafka中bootstrap-server、broker-list和zookeeper的區別


參考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer  中說建議使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server

 

Kafka專業術語,參考 Apache kafka 工作原理介紹

Broker:Kafka 集群包含一個或多個服務器,這種服務器被稱為 broker。

Topic:每條發布到 Kafka 集群的消息都有一個類別,這個類別被稱為 Topic。(物理上不同 Topic 的消息分開存儲,邏輯上一個 Topic 的消息雖然保存於一個或多個 broker 上,但用戶只需指定消息的 Topic 即可生產或消費數據而不必關心數據存於何處)。

Partition:Partition 是物理上的概念,每個 Topic 包含一個或多個 Partition。

Producer:負責發布消息到 Kafka broker。

Consumer:消息消費者,向 Kafka broker 讀取消息的客戶端。

Consumer Group:每個 Consumer 屬於一個特定的 Consumer Group(可為每個 Consumer 指定 group name,若不指定 group name 則屬於默認的 group)。

 

《Kafka權威指南》中是這樣描述的

 

對於消費者,kafka中有兩個設置的地方:對於老的消費者,由--zookeeper參數設置;對於新的消費者,由--bootstrap-server參數設置

如果使用了--zookeeper參數,那么consumer的信息將會存放在zk之中

查看的方法是使用./zookeeper-client,然后 ls /consumers/[group_id]/offsets/[topic]/[broker_id-part_id],這個是查看某個group_id的某個topic的offset

如果使用了--bootstrap-server參數,那么consumer的信息將會存放在kafka之中

 

對於console生產者--broker-list參數指定了所使用的broker

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM