1、首先从apache kafka网站下载自己需要的kafka版本
此处我们下载的是2.11版本
http://kafka.apache.org/downloads
并放到了/opt/workspace/目录下。
2、在服务器上将kafka压缩包解压缩
[root@master1 workspace]# tar -zxvf kafka_2.11-2.1.1.tgz
3、进入kafka文件,修改config文件夹中的配置文件
[root@master1 workspace]# cd kafka_2.11-2.1.1/ [root@master1 kafka_2.11-2.1.1]# cd config/ [root@master1 config]# vim server.properties
broker.id要保证在不同的服务器上不同,此处我们在master1 、master2、slave1、slave2 、slave3上分别设置为0,1,2,3,4
log.dir不是kafka产生日志的地方,是数据输入的地方,因为kafka主要是用来处理日志文件
4、5台机器配置完成后,启动kafka(注:在启动kafka之前必须先启动zookeeper,因为kafka的元数据信息都是存储在znode上的)
[root@master1 kafka_2.11-2.1.1]# bin/kafka-server-start.sh -daemon config/server.properties
启动成功
5、同样在master2上启动kafka
6、开启生产者、消费者模式(master1为生产者、master2为消费者,此处我分别添加了一个脚本)
master1上:编辑脚本producer-topic.sh文件,添加下面代码作为生产者
#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-producer.sh --broker-list master1:9092 --topic kafka_ss
master2上:编辑脚本consumer-topic.sh.sh文件,添加下面代码作为消费者
#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-consumer.sh --bootstrap-server master1:9092 --from-beginning --topic kafka_ss
7、分别启动两个脚本文件,启动成功如下:
master1上输入数据,会立刻反映在master2上