kafka在linux下安裝

簡介

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者在網站中的所有動作流數據。

相關術語（參考百度百科）

Broker
　　Kafka集群包含一個或多個服務器，這種服務器被稱為broker
Topic
　　每條發布到Kafka集群的消息都有一個類別，這個類別被稱為Topic。（物理上不同Topic的消息分開存儲，邏輯上一個Topic的消息雖然保存於一個或多個broker上但用戶只需指定消息的Topic即可生產或消費數據而不必關心數據存於何處）
Partition
　　Partition是物理上的概念，每個Topic包含一個或多個Partition
Producer
　　負責發布消息到Kafka broker
Consumer
　　消息消費者，向Kafka broker讀取消息的客戶端
Consumer Group
　　每個Consumer屬於一個特定的Consumer Group（可為每個Consumer指定group name，若不指定group name則屬於默認的group）

　　

下載

http://kafka.apache.org/

https://archive.apache.org/dist/kafka/2.3.0/kafka_2.12-2.3.0.tgz

安裝

解壓

tar -zxvf kafka_2.12-2.3.0.tgz -C /usr/local/

 

修改配置文件

創建存放數據的文件夾

 

查看zk的配置

vim zoo.cfg，zk的端口是2180

 

kafka中對應修改為2180

 

另外，zookeeper安裝，請參考：https://www.cnblogs.com/uncleyong/p/10737119.html

啟動服務

先啟動zookeeper

 

再啟動kafka

 

 

 

測試

創建Topic

 

查看Topic列表

 

查看分區

 

啟動kafka的生產者，發送消息：全棧

 

啟動kafka的消費者

消費者1

消費者2

 

生產者再次發送消息：test

 

消費者1取消息

 

消費者2取消息

 

消息存在分區里面了

 

最新原文：https://www.cnblogs.com/uncleyong/p/13338077.html