Kafka集群搭建(v2.8)

准備

• 下載Kafka包，https://www.apache.org/dyn/closer.cgi?path=/kafka/2.8.0/kafka_2.12-2.8.0.tgz
• 本文采用2.8版本
• 准備機器

IP	HOSTNAME	OS
172.16.241.2	linux1	centos8
172.16.241.3	linux2	centos8
172.16.241.4	linux3	centos8

• 將kafka安裝文件上傳到三個機器上的/root/software/kafka目錄下。
• 解壓 tar zxvf kafka_2.12-2.8.0.tgz

配置

Zookeeper集群(https://www.cnblogs.com/pipi1109/articles/15030726.html)

• 進入config目錄，拷貝zoo_sample.cfg 為zoo.cfg 按照如下修改:

  dataDir=/root/software/zookeeper/zookeeper3.7.0/data // 數據存儲目錄
  server.1=linux1:2888:3888   // linux1的dataDir下目錄下新建myid，文件內容是1
  server.2=linux2:2888:3888		// linux2的dataDir下目錄下新建myid，文件內容是2
  server.3=linux3:2888:3888		// linux3的dataDir下目錄下新建myid，文件內容是3
  

• 在上面配置的dataDir目錄中，新建myid文件，文件內容如上。

• 三個節點分別執行啟動命令./zkServer.sh start , 都提示類似如下圖即代表啟動成功：

  

• linux1，linux2， linux3 分別執行./zkServer.sh status

  1. linux1:

  linux1 是一個follower節點

  2. linux2：

     linux2是個leader節點

  3. linux3：

     linux3也是個follower節點

• 命令行連接，進入bin目錄執行./zkCli.sh

  1. 查看

  2. 創建並獲取節點

     

  3. 進入linux2和linux3，獲取剛剛創建的/xpp節點，也能獲取到。

     

Kafka集群

• 進入config目錄修改server.properties

  1. 三個機器上都修改

     zookeeper.connect=linux1:2181,linux2:2181,linux3:2181

  2. linux1: broker.id=0, linux2:broker.id=1, linux3:broker.id=2

• 進入kafka目錄，三台機器分別執行如下命令：./bin/kafka-server-start.sh config/server.properties &

• 使用命令或者工具連接kafka集群。

  

  可以看到有三個broker，說明集群搭建成功。

• 創建topic

  

• 搭建完畢。