Centos 7.X 上安裝Kafka及常用命令
1、下載
下載地址:http://kafka.apache.org/downloads.html 或百度網盤自取
鏈接:https://pan.baidu.com/s/1qIs3iehi56Qg7Wahj66VVQ
提取碼:qmdb
2、安裝
首先在進行kafka安裝時需要依賴於zookeeper,這兒我事先准備好了三個節點的Zookeeper環境,
Zookeeper的搭建可參考https://www.cnblogs.com/ysocean/p/9860529.html
我事先搭建好的Zookeeper信息如下:
192.168.232.3:2181,192.168.232.4:2181(master),192.168.232.5:2181
上傳到Linux服務器之上
1. 解壓:
tar -zxvf kafka_2.12-2.6.0.tgz -C /usr/local/
2. 進入到解壓時指定的目錄之下,重命名一下kafka文件夾
mv kafka_2.12-2.6.0/ kafka_2.12
3. 進入解壓后的目錄,修改server.properties文件:
vim /usr/local/kafka_2.12/config/server.properties
修改信息如下:
broker.id=0
port=9092
host.name=192.168.232.3
advertised.host.name=192.168.232.3
log.dirs=/usr/local/kafka_2.12/kafka-logs
num.partitions=2
zookeeper.connect=192.168.232.3:2181,192.168.232.4:2181,192.168.232.5:2181
保存退出
然后創建kafka的日志文件目錄,上述配置文件所指定的目錄/usr/local/kafka_2.12/kafka-logs
mkdir /usr/local/kafka_2.12/kafka-logs
4. 啟動kafka
/usr/local/kafka_2.12/bin/kafka-server-start.sh /usr/local/kafka_2.12/config/server.properties &
kafka啟動完成
3、常用命令
(1)創建topic主題命令(創建一個名為test的topic) 進入kafka的bin目錄下使用
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --create --topic test --partitions 1
--replication-factor 1
## --zookeeper 為zk服務列表
## --create 命令后 --topic 為創建topic 並指定 topic name
## --partitions 為指定分區數量
## --replication-factor 為指定副本集數量
(2)查看topic列表命令
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --list
(3)刪除topic命令
./kafka-topics.sh --zookeeper 192.168.232.3:2181 --delete --topic test
(4)kafka命令發送數據
./kafka-console-producer.sh --broker-list 192.168.232.3:9092 --topic test
(5)kafka命令接受數據
./kafka-console-consumer.sh --bootstrap-server 192.168.232.3:9092 --topic test
--from-beginning
(6)kafka查看消費進度(若要查看一個消費者組的消費進度時,則使用如下命令進行查看)
./kafka-consumer-groups.sh --bootstrap-server 192.168.232.3:9092 --describe --group group