Flnk作为流式计算平台，他能对源源不断发送过来的数据进行处理。 对于数据流的处理方式，可以是来一条处理一条（pipeline的方式），还可以获取一些数据然后统一处理。 对于数据流如何描述一堆数据呢？就是通过Window的概念。 Window Window翻译为窗口，相当于将流式数据进行逻辑 ...

一：WaterMark 本质：时间戳 作用：用于处理乱序事件 适用场景：基于事件时间做窗口运算 产生频率：默认是来一条数据下发一次watermark，但是可以调整setAutoWatermarkInterval参数设置下发watermark的时间间隔，性能会有一定的提升。 多并发的情况下 ...

这次需要做一个监控项目，全网日志的指标计算，上线的话，计算量应该是百亿/天 单个source对应的sql如下 ---先做技术论证，写了下面一个sql 然后拉起flink任务,观察是否可顺利启动---果然报错了 定位一下，看看是什么问题导致的,看了下之前写的sql，猜测是因为 ...

、watermark以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。 Process Functio ...

ProcessFunction API 之前的转换算子 是无法访问事件的时间戳信息和 水位线 信息的。而这在一些应用场景下极为重要。例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。基于此， DataStream API 提供 ...

实际生产中，由于各种原因，导致事件创建时间与处理时间不一致，收集的规定对实时推荐有较大的影响。所以一般情况时选取创建时间，然后事先创建flink的时间窗口。但是问题来了，如何保证这个窗口的时间内所有事件都到齐了？这个时候就可以设置水位线（waterMark）。 概念：支持基于时间 ...

昨天在社区群看到有人问，为什么水印取最小的一条？这里分享一下自己的理解 首先水印一般是设置为：(事件时间 - 指定的值) 这里的作用是解决迟到数据的问题，从源码来看一下它如何解决的 先来看下windowOperator.java接收到数据以后做了什么 在processElement方法中 ...

一、Time 在Flink的流式处理中，会涉及到时间的不同概念 Event Time（事件时间）：是事件创建的时间。它通常由事件中的时间戳描述，例如采集的日志数据中，每一条日志都会记录自己的生成时间，Flink通过时间戳分配器访问事件时间戳 Ingestion Time（采集时间）：是数据 ...