kafka安裝


1、首先從apache kafka網站下載自己需要的kafka版本

此處我們下載的是2.11版本

http://kafka.apache.org/downloads

並放到了/opt/workspace/目錄下。

2、在服務器上將kafka壓縮包解壓縮

[root@master1 workspace]# tar -zxvf kafka_2.11-2.1.1.tgz

3、進入kafka文件,修改config文件夾中的配置文件

[root@master1 workspace]# cd kafka_2.11-2.1.1/ [root@master1 kafka_2.11-2.1.1]# cd config/ [root@master1 config]# vim server.properties

broker.id要保證在不同的服務器上不同,此處我們在master1 、master2、slave1、slave2 、slave3上分別設置為0,1,2,3,4

log.dir不是kafka產生日志的地方,是數據輸入的地方,因為kafka主要是用來處理日志文件

 4、5台機器配置完成后,啟動kafka(注:在啟動kafka之前必須先啟動zookeeper,因為kafka的元數據信息都是存儲在znode上的)

[root@master1 kafka_2.11-2.1.1]# bin/kafka-server-start.sh -daemon config/server.properties

啟動成功

5、同樣在master2上啟動kafka

6、開啟生產者、消費者模式(master1為生產者、master2為消費者,此處我分別添加了一個腳本)

master1上:編輯腳本producer-topic.sh文件,添加下面代碼作為生產者

#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-producer.sh --broker-list master1:9092  --topic kafka_ss

master2上:編輯腳本consumer-topic.sh.sh文件,添加下面代碼作為消費者

#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-consumer.sh  --bootstrap-server master1:9092  --from-beginning --topic kafka_ss

7、分別啟動兩個腳本文件,啟動成功如下:

master1上輸入數據,會立刻反映在master2上

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM