kafka安装


1、首先从apache kafka网站下载自己需要的kafka版本

此处我们下载的是2.11版本

http://kafka.apache.org/downloads

并放到了/opt/workspace/目录下。

2、在服务器上将kafka压缩包解压缩

[root@master1 workspace]# tar -zxvf kafka_2.11-2.1.1.tgz

3、进入kafka文件,修改config文件夹中的配置文件

[root@master1 workspace]# cd kafka_2.11-2.1.1/ [root@master1 kafka_2.11-2.1.1]# cd config/ [root@master1 config]# vim server.properties

broker.id要保证在不同的服务器上不同,此处我们在master1 、master2、slave1、slave2 、slave3上分别设置为0,1,2,3,4

log.dir不是kafka产生日志的地方,是数据输入的地方,因为kafka主要是用来处理日志文件

 4、5台机器配置完成后,启动kafka(注:在启动kafka之前必须先启动zookeeper,因为kafka的元数据信息都是存储在znode上的)

[root@master1 kafka_2.11-2.1.1]# bin/kafka-server-start.sh -daemon config/server.properties

启动成功

5、同样在master2上启动kafka

6、开启生产者、消费者模式(master1为生产者、master2为消费者,此处我分别添加了一个脚本)

master1上:编辑脚本producer-topic.sh文件,添加下面代码作为生产者

#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-producer.sh --broker-list master1:9092  --topic kafka_ss

master2上:编辑脚本consumer-topic.sh.sh文件,添加下面代码作为消费者

#!/usr/bin/sh /opt/workspace/kafka_2.11-2.1.1/bin/kafka-console-consumer.sh  --bootstrap-server master1:9092  --from-beginning --topic kafka_ss

7、分别启动两个脚本文件,启动成功如下:

master1上输入数据,会立刻反映在master2上

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM