一、业务背景 实时统计每天考勤人数 使用MapState<Srting, Set> key：日期字符串 -> yyyyMMdd value：当天考勤员工ID，利用Set自动去重的特性统计当前考勤人数 状态里只需要存储当天的数据，之前的数据可以清理掉。设置状态过期时间24 ...

去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、 ...

1、理解 State（状态） 1.1、State 对象的状态 Flink 中的状态：一般指一个具体的 task/operator 某时刻在内存中的状态（例如某属性的值）。 注意：State 和 Checkpointing 不要搞混。 checkpoint ...

在Flink中的每个函数和运算符都是有状态的。在处理过程中可以用状态来存储数据，这样可以利用状态来构建复杂操作。为了让状态容错，Flink需要设置checkpoint状态。Flink程序是通过checkpoint来保证容错，通过checkpoint机制，Flink可恢复作业的状态和计算位置 ...

状态后端（State Backends） 每传入一条数据，有状态的算子任务都会读取和更新状态； 由于有效的状态访问对于处理数据的低延迟至关重要，因此每个并行任务都会在本地内存维护其状态，以确保快速的状态访问。 状态的存储、访问以及维护，由一个可插入的组件决定，这个组件就叫做状态后端 ...

常用 State Flink 有两种常见的 State类型，分别是： Keyed State （键控状态） Operator State（算子状态） 1) Keyed State（键控状态） Keyed State：顾名思义就是基于 KeyedStream 上的状态，这个状态是跟特定 ...

一、概述 保存机制 StateBackend ，默认情况下，State 会保存在 TaskManager 的内存中，CheckPoint 会存储在 JobManager 的内存中。 State 和 CheckPoint 的存储位置取决于 StateBackend 的配置。 Flink 一共 ...

状态管理 之前我们提到过大多数流应用是有状态的。很多operators会不断的访问并更新某中状态，例如一个window中收集了多少条记录，输入源中当前读到的位置，亦或是用户定义的特定operators的状态。无论是内置的operator还是用户定义的operators，Flink对待 ...