kafka 命令行 consumer 詳解

1.一般情況下 , 只要重啟消費者 , 都是從最早拉取數據 , 也就是數據可以重復

 kafka-console-consumer.sh --bootstrap-server node1:9092 --from-beginning --topic sky

主要是from beginning . 如果刪除它

 

kafka-console-consumer.sh --bootstrap-server node1:9092 --topic sky

那么就會從最新的拉取數據 , 但是並不是從上次最后消費的記錄, 數據會丟失

 

這時我們最后加上紅色部分 ,  /home/abby/cs/consumer.properties 是一個文件,內容是

 

group.id=consoleGroup

kafka-console-consumer.sh --bootstrap-server node1:9092 --topic sky --consumer.config /home/abby/cs/consumer.properties

也就是這個會記錄消費的 偏移量 , 如果重啟就會從上次結束的開始 , 而不會全部重新拉取