kafka集群搭建


kafka安裝部署

1、zxvf kafka_2.12-2.0.0.tgz 上傳到home/用戶下

目前搭建了三個節點的kafka集群,分別在172.16.41.141172.16.41.142172.16.41.143服務器上

解壓tar -zxvf kafka_2.12-2.0.0.tgz

先檢查21819092端口是否被別的應用所占用

2、配置文件修改

    cd kafka_2.12-2.0.0/config/

①、zookeeper.properties (需要手動創建文件夾/tmp/zookeeper,/tmp/log/zookeeper)

dataDir=/tmp/zookeeper

dataLogDir=/tmp/log/zookeeper

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

server.1=172.16.41.141:2888:3888

server.2=172.16.41.142:2888:3888

server.3=172.16.41.143:2888:3888

    進入到/tmp/zookeeper/文件夾下創建myid文件,將三個服務器上的myid文件分別寫入 123,如下:myidzk集群用來發現彼此的標識,必須創建,且不能相同;

 

server.properties(以下字段如果有就修改,如果沒有就添加,以下都是)

路徑:vi  server.properties

21    broker.id=0   #0/1/2

31  listeners=PLAINTEXT://172.16.41.141:9092  #172.16.41.141:9092/172.16.41.141:9092

32    host.name=172.16.41.141  #172.16.41.142/172.16.41.143

123  zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181

126   zookeeper.connection.timeout.ms=6000

server.properties配置文件的修改主要在開頭和結尾,中間保持默認配置即可;需要注意的點是broker.id的值三個節點要配置不同的值,分別配置為012log.dirs必須保證目錄存在,不會根據配置文件自動生成;

②、zk啟動命令:

自帶zk啟動(后台啟動):cd /kafka_2.12-1.1.0/bin(以下都是在此路徑下執行)

nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 &           敲兩下回車

 

kafka啟動(后台啟動):

nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &

敲兩下回車

 

④、創建topic

./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH

或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH

或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

 

 ⑤查看所有topic

./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM