原文:Flink 消費Kafka的有趣現象:固定時間、固定數量的堆積

今天和同事遇到一個非常有趣的問題,在Kafka監控頁面上可以看到該topic的消息會堆積到 萬條左右,然后再很快的消費完畢歸為 ,然后又開始堆積到 萬條左右,時間間隔都是 分鍾。第一反應,反壓 但是反壓的也太整齊了吧。看了一眼代碼,哈哈,CheckPoint的時間間隔是 分鍾,而且是Exactly Once的。 所以這 分鍾的延遲是必須付出的代價了,算不上問題 ...

2020-03-31 19:08 0 1018 推薦指數:

查看詳情

flink 根據時間消費kafka

經常遇到這樣的場景,13點-14點的時候flink程序發生了故障,或者集群崩潰,導致實時程序掛掉1小時,程序恢復的時候想把程序倒回13點或者更前,重新消費kafka中的數據. 下面的代碼就是根據指定時間戳(也可以換算成時間)開始消費數據,支持到這樣就靈活了,可以在啟動命令中加個參數,然后再 ...

Tue Jun 12 07:35:00 CST 2018 0 3334
JS 指定每天固定時間執行

window.setInterval(function(){ var refreshHours = new Date().getHours(); var refreshMin = ne ...

Fri Nov 23 00:31:00 CST 2018 0 1534
java中int算法的有趣現象

今天無意中發現一個怪事,當時沒理解,后來跟網友討論了才知道原理,是關於int值的加法算法,兩段代碼如下: 代碼1: 控制台輸出結果很奇怪,全都是0,: stackLength=21 ...

Sun Mar 12 23:00:00 CST 2017 0 1353
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM