原文:Flink 消费Kafka的有趣现象:固定时间、固定数量的堆积

今天和同事遇到一个非常有趣的问题,在Kafka监控页面上可以看到该topic的消息会堆积到 万条左右,然后再很快的消费完毕归为 ,然后又开始堆积到 万条左右,时间间隔都是 分钟。第一反应,反压 但是反压的也太整齐了吧。看了一眼代码,哈哈,CheckPoint的时间间隔是 分钟,而且是Exactly Once的。 所以这 分钟的延迟是必须付出的代价了,算不上问题 ...

2020-03-31 19:08 0 1018 推荐指数:

查看详情

flink 根据时间消费kafka

经常遇到这样的场景,13点-14点的时候flink程序发生了故障,或者集群崩溃,导致实时程序挂掉1小时,程序恢复的时候想把程序倒回13点或者更前,重新消费kafka中的数据. 下面的代码就是根据指定时间戳(也可以换算成时间)开始消费数据,支持到这样就灵活了,可以在启动命令中加个参数,然后再 ...

Tue Jun 12 07:35:00 CST 2018 0 3334
JS 指定每天固定时间执行

window.setInterval(function(){ var refreshHours = new Date().getHours(); var refreshMin = ne ...

Fri Nov 23 00:31:00 CST 2018 0 1534
java中int算法的有趣现象

今天无意中发现一个怪事,当时没理解,后来跟网友讨论了才知道原理,是关于int值的加法算法,两段代码如下: 代码1: 控制台输出结果很奇怪,全都是0,: stackLength=21 ...

Sun Mar 12 23:00:00 CST 2017 0 1353
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM