kafka集群的安装和配置

kafka集群的搭建：
一、集群服务器
zookeeper 1台：192.168.31.239
kafka 2台： 192.168.31.243   192.168.31.244
1、修改kafka配置文件
在192.168.31.243服务器上面
vim config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.31.243:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.31.239:2181

在192.168.31.244服务器上面
vim config/server.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.31.244:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.31.239:2181


2、分别启动两台kafka
bin/kafka-server-start.sh -daemon config/server.properties

bin/kafka-server-start.sh -daemon config/server.properties

3、测试
 创建一个新的topic，副本数设置为3，分区数设置为2
bin/kafka-topics.sh --create --zookeeper 192.168.31.239:2181 --replication-factor 2 --partitions 2 --topic my-topic
 查看topic信息
 bin/kafka-topics.sh --describe --zookeeper 192.168.31.239:2181 --topic my-topic
 向my-topic主题发送消息
bin/kafka-console-producer.sh --broker-list 192.168.31.243:9092,192.168.31.244:9092 --topic my-topic
消费消息
bin/kafka-console-consumer.sh --bootstrap-server 192.168.31.243:9092,192.168.31.244:9092 --from-beginning --topic my-topic