環境
本文中的操作均基於kafka_1.3.3.0，且所有命令經過實際驗證。
常用工具
新建Topic
./kafka-topics --zookeeper 166.188.xx.xx --create --topic flink_source --partitions 1 --replication-factor 1
-
replication-factor： 指定副本數量
-
partitions：指定分區
刪除Topic
./kafka-topics --zookeeper 166.188.xx.xx --delete --topic flink_source
查看所有Topic
./kafka-topics --zookeeper 166.188.xx.xx --list
查看指定Topic詳情
./kafka-topics --zookeeper 166.188.xx.xx --topic flink_source --describe
查看consumer group列表
查看consumer group列表有新、舊兩種命令，分別查看新版(信息保存在broker中)consumer列表和老版
(信息保存在zookeeper中)consumer列表，因而需要區分指定bootstrap--server和zookeeper參數。
./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --list
./kafka-consumer-groups --zookeeper 166.188.20.32:2181 --list
查看指定consumer group詳情
./kafka-consumer-groups --new-consumer --bootstrap-server 166.188.xx.xx:9092 --group logstash --describe
./kafka-consumer-groups --zookeeper 166.188.xx.xx:2181 --group console-consumer-12278 --describe
這里同樣需要根據新、舊版本的consumer，分別指定bootstrap-server與zookeeper參數。其中依次
展示group名稱、消費的topic名稱、partition id、consumer group最后一次提交的offset、最后提交的生
產消息offset、消費offset與生產offset之間的差值、當前消費topic-partition的group成員id(不一定包含
hostname)。
補充知識
消費組列名解讀
- TOPIC：消費者的topic名稱
- PARTITION：分區數的名稱
- CURRENT-OFFSET：consumer group最后一次提交的offset
- LOG-END-OFFSET：最后提交的生產消息offset
- LAG：消費offset與生產offset之間的差值
- CONSUMER-ID：消費者的ID編號，消費者組里面最少要有一個消費者，當然也可以有多個消費者
- HOST：消費者的主機IP地址
- CLIENT-ID：鏈接的ID編號
關於offset
kafka有個常用的設置是 auto.offset.reset ，該屬性指定了消費者在讀取一個沒有偏移量的分
區或者偏移量無效的情況下(因消費者長時間失效，包含偏移量的記錄已經過時井被刪除)該作何處理。
它的默認值是 latest，意思是說，在偏移量無效的情況下，消費者將從最新的記錄開始讀取數據(在消
費者啟動之后生成的記錄)。另一個值是 earliest ，意思是說，在偏移量無效的情況下，消費者將從起
始位置讀取分區的記錄。
該屬性有以下幾個值：
- earliest：當各分區下有已提交的offset時，從提交的offset開始消費；無提交的offset時，從頭開始消費
- latest：當各分區下有已提交的offset時，從提交的offset開始消費；無提交的offset時，消費新產生的該分區下的數據
- none：topic各分區都存在已提交的offset時，從offset后開始消費；只要有一個分區不存在已提交的offset，則拋出異常
這個設置只有當我們的消費者(或者消費者群組)在分區內找不到有效的offset時才會生效。