Flink SQL 批处理
AdPojo{channel='朋友圈', subject='英语', refer='H5', reg='100', ord='100', pv='100', uv='100'} ...
原文：Flink sql 之 微批处理与MiniBatchIntervalInferRule (源码分析)
本文源码基于flink . 平台用户在使用我们的flinkSql时经常会开启minaBatch来优化状态读写 所以从源码的角度具体解读一下miniBatch的原理 先看一下flinksql是如何触发miniBatch的优化的 主要就是这个Calcite的rule了，来具体看一下 在对应的match方法中 会根据miniBatch的类型判断，是否需要添加一个Assigner的节点 这个assigne ...
2022-01-02 19:37 0 1139 推荐指数：
相关推荐
Flink批处理读写Hive
...
flink入门到实战（6）flink批处理从0到1
一、DataSet API之Data Sources（消费者之数据源） 介绍： flink提供了大量的已经实现好的source方法，你也可以自定义source 通过实现sourceFunction接口来自定义无并行度的source， 或者你也可以通过实现 ...
Flink sql 之 两阶段聚合与 TwoStageOptimizedAggregateRule（源码分析）
本文源码基于flink1.14 上一篇文章分析了《flink的minibatch微批处理》的源码 乘热打铁分析一下两阶段聚合的源码，因为使用两阶段要先开启minibatch，至于为什么后面会分析到 两阶段聚合的原理，还是简单提一下 如下图，当聚合发生热点的时候，可以在聚合前，先进行一个本地 ...
flink checkpoint 源码分析 （一）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为 ...
flink初体验-批处理与流处理
一、环境准备 本机环境：jdk11、scala2.12、maven3.6 新建一个maven项目，pom如下 项目结构如下 1、添加scala源文件，新建一个scala的文件夹， ...
Flink中的CEP复杂事件处理 (源码分析)
其实CEP复杂事件处理，简单来说你可以用通过类似正则表达式的方式去表示你的逻辑，表现能力非常的强，用过的人都知道 开篇先偷一张图，整体了解FlinkCEP中的 一种重要的图 NFA FlinkCEP在运行时会将用户的逻辑转化成这样的一个NFA Graph (nfa对象) graph ...
Flink sql 之 AsyncIO与LookupJoin的几个疑问 （源码分析）
本文源码基于flink 1.14 被同事问到几个关于AsyncIO和lookUp维表的问题所以翻了下源码，从源码的角度解惑这几个问题 对于AsyncIO不了解的可以看看之前写的这篇 《Flink中异步AsyncIO的实现 (源码分析)》 问题一：AsyncIO 有（排序 / 非排序 ...