Kafka常用控制台命令


查看kafka版本信息

find /opt/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'

示例:kafka/libs/kafka_2.12-2.2.0.jar 前面2.12為Scala版本 后面2.2.0為kafka版本

腳本在kafka安裝的bin目錄下

啟動kafka

./kafka-server-start.sh -daemon ../config/server.properties

創建topic:

./kafka-topics.sh --create --zookeeper 172.19.1.58:2181 --replication-factor 1 --partitions 2 --topic aas-audit-log

--replication-factor代表每個分區在集群中復制的份數,后面的值要小於kafka集群中服務器數量,--partitions表示創建主題的分區數量,一般分區越大,性能越好,--topic后邊兒就是創建主題的名字

修改主題分區
./kafka-topics.sh --alter --zookeeper localhost:2181 --topic aas-audit-log --partitions 2


查看所有的topic:
./kafka-topics.sh --list --zookeeper 172.19.1.58:2181


刪除topic(需要配置服務文件)

./kafka-topics.sh --delete --zookeeper 172.19.1.58:2181 --topic aas-audit-log


啟動KafkaOffsetMonitor

java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk 172.19.1.58:2181 --port 8080 --refresh 10.seconds --retain 2.days


查看kafka偏移量

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.19.1.58:9092 --topic aas-audit-log --time -1


查看kafka消費情況

./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer


含權限查看kafka消費情況
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer --command-config ../config/sasl-plain.properties

TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
主題 分區 當前已消費的條數 總消費條數 未消費的條數

查看相應文件內容可以通過 kafka-run-class.sh 腳本查看 .log :

./kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs-2/aas-audit-log-0/00000000000000000000.log


生產者
./kafka-console-producer.sh --broker-list 172.19.1.58:9092 --topic aas-audit-log

消費者
./kafka-console-consumer.sh --bootstrap-server 172.19.1.58:9092 --topic aas-audit-log


1.有可能是你的server.properties配置的問題,其中的每一台機子的

broker.id=1
都要不相同


2.你可能沒啟動kafka中的broker

進入{zookeeper_home}/bin目錄下

./zkCli.sh

然后

ls /brokers/ids

你會看到自己的節點數(是否是和你啟動的是一樣的)

如果不一樣,那就重新啟動kafka


查看消費記錄
./kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server 172.19.1.58:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning

含權限
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --command-config ../config/sasl-plain.properties --list


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM