Flink处理迟到的数据
一、Flink 的 Watermark(水位线 水印) 每隔3秒统计前3秒的元素个数，那么flink系统会事先在系统中划分好20（60/3）个window 制定watermark的策略: 周期性提取watermark，默认时间为200ms，我们可以认为在1号数据被分配到window之后 ...
原文：【源码解析】Flink 是如何处理迟到数据
相信会看到这篇文章的都对Flink的时间类型 事件时间 处理时间 摄入时间 和Watermark有些了解，当然不了解可以先看下官网的介绍：https: ci.apache.org projects flink flink docs master dev event time.html 这里就会有这样一个问题：FLink 是怎么基于事件时间和Watermark处理迟到数据的呢 在回答这个问题之前，建 ...
2019-08-24 19:11 0 893 推荐指数：
相关推荐
【源码解析】Flink 滑动窗口数据分配到多个窗口
6 个窗口 在 process 中打个断点就可以追这段处理的源码了 数据的流向和 Tumblin ...
Flink CDC 2.0 数据处理流程全面解析
8月份 FlinkCDC 发布2.0.0版本，相较于1.0版本，在全量读取阶段支持分布式读取、支持checkpoint，且在全量 + 增量读取的过程在不锁表的情况下保障数据一致性。 Flink CDC2.0 数据读取逻辑并不复杂，复杂的是 FLIP-27: Refactor Source ...
flink on yarn部分源码解析
转发请注明原创地址：https://www.cnblogs.com/dongxiao-yang/p/9403427.html flink任务的deploy形式有很多种选择，常见的有standalone，on yarn , Meos , Kubernetes等方式，目前公司内部统一采用 ...
【源码】Flink StreamingFileSink 处理流程
前两天试了下 Flink SQL 写 Hive，对 Sink 部分写数据到 HDFS 的部分比较疑惑，特别是基于 checkpoint 的文件提交，所以看了下 StreamingFileSink 的源码（Flink SQL 写 hive 复用了这部分代码） StreamingFileSink ...
《Flink 源码解析》—— 源码编译运行
更新一篇知识星球里面的源码分析文章，去年写的，周末自己录了个视频，大家看下效果好吗？如果好的话，后面补录发在知识星球里面的其他源码解析文章。 前言 之前自己本地 clone 了 Flink 的源码，编译过，然后 share 到了 GitHub 上去了，自己也写了一些源码的中文注释 ...
【源码】Flink sql 流式去重源码解析
本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能，只是简单的看了下官网，然后用 sql 实现了功能，但是还有些疑问没有解决。比如：不使用 mini-batch 模式，去重的结果很单一，降序就只输出第一条数据（升序就一直输出最后一条） 为了解 ...
Flink 源码解析 —— 深度解析 Flink 序列化机制
Flink 序列化机制 https://t.zsxq.com/JaQfeMf 博客 1、Flink 从0到1学习 —— Apache Flink 介绍 2、Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、Flink 从0到1学习 ...