Kafka查看topic、consumer group狀態命令

1，查看kafka topic列表，使用--list參數

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
__consumer_offsets
test_topic
test

2，查看kafka特定topic的詳情，使用--topic與--describe參數

bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --topic lx_test_topic --describe
Topic:test_topic     PartitionCount:1        ReplicationFactor:1     Configs:
Topic: test_topic    Partition: 0    Leader: 0       Replicas: 0     Isr: 0

列出了test_topic的parition數量、replica因子以及每個partition的leader、replica信息

3，查看consumer group列表，使用--list參數

查看consumer group列表有新、舊兩種命令，分別查看新版(信息保存在broker中)consumer列表和老版(信息保存在zookeeper中)consumer列表，因而需要區分指定bootstrap--server和zookeeper參數：

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --list
test

bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --list
console-consumer-86532
console-consumer-14251

4，查看特定consumer group 詳情，使用--group與--describe參數

同樣根據新/舊版本的consumer，分別指定bootstrap-server與zookeeper參數:

bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server 127.0.0.1:9092 --group  test --describe
GROUP                          TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET 　　  LAG           　　　　 OWNER
test                        test_topic             0          465             465              0               kafka-python-1.3.1_/127.0.0.1

LOG-END-OFFSET 未增加，說明沒有數據生成進入到kafka，反之

CURRENT-OFFSET的值等於LOG-END-OFFSET，則說明進入kafka的數據已經被消費掉了

bin/kafka-consumer-groups.sh --zookeeper 127.0.0.1:2181 --group console-consumer-14251 --describe
GROUP                          TOPIC                          PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             OWNER
Could not fetch offset from zookeeper for group console-consumer-14251 partition [test_topic,0] due to missing offset data in zookeeper.
console-consumer-14251         test_topic             0          unknown         465             unknown         console-consumer-14251-1513787888172-d3a91f05-0

其中依次展示group名稱、消費的topic名稱、partition id、consumer group最后一次提交的offset、最后提交的生產消息offset、消費offset與生產offset之間的差值、當前消費topic-partition的group成員id(不一定包含hostname)

上面示例中console-consumer-14251是為了測試臨時起的一個console consumer，缺少在zookeeper中保存的current_offset信息。