Kafka集群搭建(v2.8)

准备

• 下载Kafka包，https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.12-2.8.0.tgz
• 本文采用2.8版本
• 准备机器

IP	HOSTNAME	OS
172.16.241.2	linux1	centos8
172.16.241.3	linux2	centos8
172.16.241.4	linux3	centos8

• 将kafka安装文件上传到三个机器上的/root/software/kafka目录下。
• 解压 tar zxvf kafka_2.12-2.8.0.tgz

配置

Zookeeper集群(https://www.cnblogs.com/pipi1109/articles/15030726.html)

• 进入config目录，拷贝zoo_sample.cfg 为zoo.cfg 按照如下修改:

  dataDir=/root/software/zookeeper/zookeeper3.7.0/data // 数据存储目录
  server.1=linux1:2888:3888   // linux1的dataDir下目录下新建myid，文件内容是1
  server.2=linux2:2888:3888		// linux2的dataDir下目录下新建myid，文件内容是2
  server.3=linux3:2888:3888		// linux3的dataDir下目录下新建myid，文件内容是3
  

• 在上面配置的dataDir目录中，新建myid文件，文件内容如上。

• 三个节点分别执行启动命令./zkServer.sh start , 都提示类似如下图即代表启动成功：

  

• linux1，linux2， linux3 分别执行./zkServer.sh status

  1. linux1:

  linux1 是一个follower节点

  2. linux2：

     linux2是个leader节点

  3. linux3：

     linux3也是个follower节点

• 命令行连接，进入bin目录执行./zkCli.sh

  1. 查看

  2. 创建并获取节点

     

  3. 进入linux2和linux3，获取刚刚创建的/xpp节点，也能获取到。

     

Kafka集群

• 进入config目录修改server.properties

  1. 三个机器上都修改

     zookeeper.connect=linux1:2181,linux2:2181,linux3:2181

  2. linux1: broker.id=0, linux2:broker.id=1, linux3:broker.id=2

• 进入kafka目录，三台机器分别执行如下命令：./bin/kafka-server-start.sh config/server.properties &

• 使用命令或者工具连接kafka集群。

  

  可以看到有三个broker，说明集群搭建成功。

• 创建topic

  

• 搭建完毕。