kafka集群的安裝和配置

kafka集群的搭建：
一、集群服務器
zookeeper 1台：192.168.31.239
kafka 2台： 192.168.31.243   192.168.31.244
1、修改kafka配置文件
在192.168.31.243服務器上面
vim config/server.properties

#broker.id屬性在kafka集群中必須要是唯一
broker.id=0
#kafka部署的機器ip和提供服務的端口號
listeners=PLAINTEXT://192.168.31.243:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka連接zookeeper的地址，要把多個kafka實例組成集群，對應連接的zookeeper必須相同
zookeeper.connect=192.168.31.239:2181

在192.168.31.244服務器上面
vim config/server.properties

#broker.id屬性在kafka集群中必須要是唯一
broker.id=1
#kafka部署的機器ip和提供服務的端口號
listeners=PLAINTEXT://192.168.31.244:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka連接zookeeper的地址，要把多個kafka實例組成集群，對應連接的zookeeper必須相同
zookeeper.connect=192.168.31.239:2181


2、分別啟動兩台kafka
bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-start.sh -daemon config/server.properties

3、測試
 創建一個新的topic，副本數設置為3，分區數設置為2
bin/kafka-topics.sh --create --zookeeper 192.168.31.239:2181 --replication-factor 2 --partitions 2 --topic my-topic
 查看topic信息
 bin/kafka-topics.sh --describe --zookeeper 192.168.31.239:2181 --topic my-topic
 向my-topic主題發送消息
bin/kafka-console-producer.sh --broker-list 192.168.31.243:9092,192.168.31.244:9092 --topic my-topic
消費消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.31.243:9092,192.168.31.244:9092 --from-beginning --topic my-topic