1. 查看topic個數
./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181
2. 查看topic的生產者與消費者消息
./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test
leader:負責處理消息的讀和寫,leader是從所有節點中隨機選擇的.
Replicas:列出了所有的副本節點,不管節點是否在服務中.
Lsr:是正在服務中的節點.
3. 生產者
bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic DreamTopic1
4.消費者
# 舊版本方式
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning bin/kafka-console-consumer.sh --zookeeper kafka1:2181 --topic test --from-beginning bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic DreamTopic1 --from-beginning
#新版本
bin/kafka-console-consumer.sh --bootstrap-server 10.15.201.83:9092 --topic test1 --from-beginning
5. 刪除topic
方法一: 通過kafka命令行刪除
bin/kafka-topics.sh --delete --zookeeper master:2181 --topic DreamTopic
如果刪除后查看topic顯示為:marked for deletion 則需要在每一台機器中的 config/server.properties 文件加入 delete.topic.enable=true,然后重啟kafka
方法二: 刪除zookeeper中的記錄
刪除kafka存儲目錄(server.properties文件log.dirs配置,默認為"/tmp/kafka-logs")相關topic目錄
刪除zookeeper "/brokers/topics/"目錄下相關topic節點
# 連接zookeeper
zkCli.sh -server localhost:2181
rmr /brokers/topics/topicname
6. 創建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
7. 將日志信息發送到kafka
$ tail -n 0 -f /var/log/nginx/access.log | bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --sync --topic zerg.hydra
8. 啟動kafka腳本
#!/bin/sh ./bin/kafka-server-start.sh -daemon config/server.properties