1、首先從apache kafka網站下載自己需要的kafka版本
此處我們下載的是2.11版本
http://kafka.apache.org/downloads
並放到了/opt/workspace/目錄下。
2、在服務器上將kafka壓縮包解壓縮
[root@master1 workspace]# tar -zxvf kafka_2.11-2.1.1.tgz
3、進入kafka文件,修改config文件夾中的配置文件
[root@master1 workspace]# cd kafka_2.11-2.1.1/ [root@master1 kafka_2.11-2.1.1]# cd config/ [root@master1 config]# vim server.properties
broker.id要保證在不同的服務器上不同,此處我們在master1 、master2、slave1、slave2 、slave3上分別設置為0,1,2,3,4
log.dir不是kafka產生日志的地方,是數據輸入的地方,因為kafka主要是用來處理日志文件
4、5台機器配置完成后,啟動kafka(注:在啟動kafka之前必須先啟動zookeeper,因為kafka的元數據信息都是存儲在znode上的)
[root@master1 kafka_2.11-2.1.1]# bin/kafka-server-start.sh -daemon config/server.properties
啟動成功
5、同樣在master2上啟動kafka
6、開啟生產者、消費者模式(master1為生產者、master2為消費者,此處我分別添加了一個腳本)
master1上:編輯腳本producer-topic.sh文件,添加下面代碼作為生產者
#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-producer.sh --broker-list master1:9092 --topic kafka_ss
master2上:編輯腳本consumer-topic.sh.sh文件,添加下面代碼作為消費者
#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-consumer.sh --bootstrap-server master1:9092 --from-beginning --topic kafka_ss
7、分別啟動兩個腳本文件,啟動成功如下:
master1上輸入數據,會立刻反映在master2上