kafka操作清單


1. 查看topic個數

./kafka-topics.sh --list --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181

2. 查看topic的生產者與消費者消息

./kafka-topics.sh --describe --zookeeper dwtest-data2:2181,dwtest-data3:2181,dwtest-data4:2181 --topic test

leader:負責處理消息的讀和寫,leader是從所有節點中隨機選擇的.
Replicas:列出了所有的副本節點,不管節點是否在服務中.
Lsr:是正在服務中的節點.

3. 生產者

bin/kafka-console-producer.sh --broker-list kafka1:9092 --topic test
bin/kafka-console-producer.sh --broker-list 192.168.100.125:9092 --topic DreamTopic1

4.消費者

# 舊版本方式
bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic test --from-beginning bin/kafka-console-consumer.sh --zookeeper kafka1:2181 --topic test --from-beginning bin/kafka-console-consumer.sh --zookeeper 192.168.100.125:2181 --topic DreamTopic1 --from-beginning

#新版本
bin/kafka-console-consumer.sh --bootstrap-server 10.15.201.83:9092 --topic test1 --from-beginning

5. 刪除topic

  方法一: 通過kafka命令行刪除

 bin/kafka-topics.sh --delete --zookeeper master:2181 --topic DreamTopic
如果刪除后查看topic顯示為:marked for deletion  則需要在每一台機器中的 config/server.properties 文件加入  delete.topic.enable=true,然后重啟kafka

方法二: 刪除zookeeper中的記錄

    刪除kafka存儲目錄(server.properties文件log.dirs配置,默認為"/tmp/kafka-logs")相關topic目錄

    刪除zookeeper "/brokers/topics/"目錄下相關topic節點 

# 連接zookeeper
zkCli.sh -server localhost:2181
rmr /brokers/topics/topicname

 

 6. 創建topic

bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test

 7.  將日志信息發送到kafka

$ tail -n 0 -f  /var/log/nginx/access.log | bin/kafka-console-producer.sh --broker-list localhost:9092,localhost:9093,localhost:9094 --sync --topic zerg.hydra

 8. 啟動kafka腳本

#!/bin/sh
./bin/kafka-server-start.sh -daemon config/server.properties

 

更多操作可參考這里的博客

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM