kafka安裝部署
1、將zxvf kafka_2.12-2.0.0.tgz 上傳到home/用戶下
目前搭建了三個節點的kafka集群,分別在172.16.41.141,172.16.41.142和 172.16.41.143服務器上
解壓tar -zxvf kafka_2.12-2.0.0.tgz
先檢查2181和9092端口是否被別的應用所占用
2、配置文件修改
cd kafka_2.12-2.0.0/config/
①、zookeeper.properties (需要手動創建文件夾/tmp/zookeeper,/tmp/log/zookeeper)
dataDir=/tmp/zookeeper
dataLogDir=/tmp/log/zookeeper
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5
server.1=172.16.41.141:2888:3888
server.2=172.16.41.142:2888:3888
server.3=172.16.41.143:2888:3888
進入到/tmp/zookeeper/文件夾下創建myid文件,將三個服務器上的myid文件分別寫入 1,2,3,如下:myid是zk集群用來發現彼此的標識,必須創建,且不能相同;

server.properties(以下字段如果有就修改,如果沒有就添加,以下都是)
路徑:vi server.properties
21 broker.id=0 #0/1/2
31 listeners=PLAINTEXT://172.16.41.141:9092 #172.16.41.141:9092/172.16.41.141:9092
32 host.name=172.16.41.141 #172.16.41.142/172.16.41.143
123 zookeeper.connect=172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181
126 zookeeper.connection.timeout.ms=6000
server.properties配置文件的修改主要在開頭和結尾,中間保持默認配置即可;需要注意的點是broker.id的值三個節點要配置不同的值,分別配置為0,1,2;log.dirs必須保證目錄存在,不會根據配置文件自動生成;
②、zk啟動命令:
自帶zk啟動(后台啟動):cd /kafka_2.12-1.1.0/bin(以下都是在此路徑下執行)
nohup ./zookeeper-server-start.sh ../config/zookeeper.properties 2>&1 & 敲兩下回車

③、kafka啟動(后台啟動):
nohup ./kafka-server-start.sh ../config/server.properties 2>&1 &
敲兩下回車

④、創建topic:
./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 1 --partitions 1 --topic NBH
或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181 --replication-factor 3 --partitions 3 --topic NBH
或者./kafka-topics.sh --create --zookeeper 172.16.41.141:2181,172.16.41.142:2181,172.16.41.143:2181 --replication-factor 3 --partitions 3 --topic NBH

⑤、查看所有topic:
./kafka-topics.sh --list --zookeeper 172.16.41.141:2181

