原文:获取Kafka每个分区最新Offset的几种方法

目录 脚本方法 Java 程序 参考资料 脚本方法 和Java程序比起来,运行得有点慢。 Java 程序 更详细的代码工程,可以参考我的GitHub 消费者获取分区列表,并获取分区最新的OFFSET 参考资料 How can I get the LATEST offset of a kafka topic Kafka 源码解析之 Consumer Poll 模型 七 Case Study to ...

2019-09-25 20:19 1 5340 推荐指数:

查看详情

kafka 获取topic每个分区的数据条数

执行命令 2、获取条数 从上述的命令解析可以看到, --time -1 表示获取最新位移值 --time -2 表示获取的最早的位移值,可能由于最早的数据由于过期被删除,所以最早的位移不一定是0 通过两数相减,就可以知道当前分区的数据条数。 ...

Thu May 06 23:04:00 CST 2021 0 7888
kafka重置到最新offset偏移量

小弟近日用kafka测试传输数据设置的单消费者,不料消费者头天晚上就挂掉了 ,重启消费者,因为auto.offset.reset 默认为latest,所以消费者从昨天晚上的数据接着消费,因为差了一晚上了,消费者一时半会追不上生产者的步伐,而我又需要实时展示数据,且又不能每次重启消费者重新赋予 ...

Wed May 09 19:47:00 CST 2018 0 2842
修改kafka topic offset方法

在spark JOB中消费kafka队列数据时,通过zookeeper记录了kafka的偏移量,有时数据量较大,JOB处理不过来,这事需要kafka修改偏移量offset,如: 开始尝试调用kafka内置的类kafka.tools.UpdateOffsetsInZK,修改 ...

Thu Jul 05 01:19:00 CST 2018 0 7395
PHP中获取星期的几种方法

PHP星期几获取代码: 1 date(l); 2 //data就可以获取英文的星期比如Sunday 3 date(w); 4 //这个可以获取数字星期比如123,注意0是星期日 获取中文星期几: 1 $weekarray=array(日,一,二,三,四,五,六); 2 //先定义一个 ...

Mon Dec 26 18:32:00 CST 2016 0 5232
request获取数据的几种方法

1、request.getparameter(); 1 //只接收前台穿过来的一个指定的参数 2 String value=request.getparameter("key"); 2、req ...

Sat Sep 02 22:39:00 CST 2017 0 33706
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM