查看kafka版本信息
find /opt/kafka/libs/ -name \*kafka_\* | head -1 | grep -o '\kafka[^\n]*'
示例:kafka/libs/kafka_2.12-2.2.0.jar 前面2.12為Scala版本 后面2.2.0為kafka版本
腳本在kafka安裝的bin目錄下
啟動kafka
./kafka-server-start.sh -daemon ../config/server.properties
創建topic:
./kafka-topics.sh --create --zookeeper 172.19.1.58:2181 --replication-factor 1 --partitions 2 --topic aas-audit-log
--replication-factor代表每個分區在集群中復制的份數,后面的值要小於kafka集群中服務器數量,--partitions表示創建主題的分區數量,一般分區越大,性能越好,--topic后邊兒就是創建主題的名字
修改主題分區
./kafka-topics.sh --alter --zookeeper localhost:2181 --topic aas-audit-log --partitions 2
查看所有的topic:
./kafka-topics.sh --list --zookeeper 172.19.1.58:2181
刪除topic(需要配置服務文件)
./kafka-topics.sh --delete --zookeeper 172.19.1.58:2181 --topic aas-audit-log
啟動KafkaOffsetMonitor
java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk 172.19.1.58:2181 --port 8080 --refresh 10.seconds --retain 2.days
查看kafka偏移量
./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list 172.19.1.58:9092 --topic aas-audit-log --time -1
查看kafka消費情況
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer
含權限查看kafka消費情況
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --describe --group myContainer --command-config ../config/sasl-plain.properties
TOPIC PARTITION CURRENT-OFFSET LOG-END-OFFSET LAG
主題 分區 當前已消費的條數 總消費條數 未消費的條數
查看相應文件內容可以通過 kafka-run-class.sh 腳本查看 .log :
./kafka-run-class.sh kafka.tools.DumpLogSegments --files /tmp/kafka-logs-2/aas-audit-log-0/00000000000000000000.log
生產者
./kafka-console-producer.sh --broker-list 172.19.1.58:9092 --topic aas-audit-log
消費者
./kafka-console-consumer.sh --bootstrap-server 172.19.1.58:9092 --topic aas-audit-log
1.有可能是你的server.properties配置的問題,其中的每一台機子的
broker.id=1
都要不相同
2.你可能沒啟動kafka中的broker
進入{zookeeper_home}/bin目錄下
./zkCli.sh
然后
ls /brokers/ids
你會看到自己的節點數(是否是和你啟動的是一樣的)
如果不一樣,那就重新啟動kafka
查看消費記錄
./kafka-console-consumer.sh --topic __consumer_offsets --bootstrap-server 172.19.1.58:9092 --formatter "kafka.coordinator.group.GroupMetadataManager\$OffsetsMessageFormatter" --from-beginning
含權限
./kafka-consumer-groups.sh --bootstrap-server 172.19.1.58:9092 --command-config ../config/sasl-plain.properties --list