Flink中异步AsyncIO的实现 (源码分析)
先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好 然后来看一下， Flink 中异步io主要分为两种 一种是有序Ordered 一种是无序UNordered 主要区别是往下游output的顺序（注意这里顺序 ...
原文：Flink sql 之 AsyncIO与LookupJoin的几个疑问 （源码分析）
本文源码基于flink . 被同事问到几个关于AsyncIO和lookUp维表的问题所以翻了下源码，从源码的角度解惑这几个问题 对于AsyncIO不了解的可以看看之前写的这篇 Flink中异步AsyncIO的实现 源码分析 问题一：AsyncIO 有 排序 非排序 模式，非排序模式数据会乱序，那水印waterMarker会乱序吗 不想看源码的先直接给出答案 ：不会乱序，接收到水印数据后非排序模式会 ...
2021-11-11 10:39 0 1161 推荐指数：
相关推荐
Flink sql 之 微批处理与MiniBatchIntervalInferRule (源码分析)
本文源码基于flink1.14 平台用户在使用我们的flinkSql时经常会开启minaBatch来优化状态读写 所以从源码的角度具体解读一下miniBatch的原理 先看一下flinksql是如何触发miniBatch的优化的 主要就是这个Calcite的rule了，来具体看一下 ...
Flink sql 之 两阶段聚合与 TwoStageOptimizedAggregateRule（源码分析）
本文源码基于flink1.14 上一篇文章分析了《flink的minibatch微批处理》的源码 乘热打铁分析一下两阶段聚合的源码，因为使用两阶段要先开启minibatch，至于为什么后面会分析到 两阶段聚合的原理，还是简单提一下 如下图，当聚合发生热点的时候，可以在聚合前，先进行一个本地 ...
flink checkpoint 源码分析 （一）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为 ...
flink checkpoint 源码分析 （二）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源码分析 （一）一文主要讲述了在JobManager端定时生成TriggerCheckpoint的代码部分，本文继续研究 ...
Flink的JobManager启动(源码分析)
都知道Flink中的角色分为Jobmanager,TaskManger 在启动脚本里面已经找到了jobmanager的启动类org.apache.flink.runtime.entrypoint.StandaloneSessionClusterEntrypoint(local模式更简单直接 ...
Flink的TaskManager启动(源码分析)
通过启动脚本已经找到了TaskManager 的启动类org.apache.flink.runtime.taskexecutor.TaskManagerRunner 来看一下它的main方法中 最后被start了起来 start其实是将taskManager 端的RPC服务 ...
【源码】Flink sql 流式去重源码解析
本文基于 flink 1.12.0 之前尝试了一下 flink sql 的 去重和Top n 功能，只是简单的看了下官网，然后用 sql 实现了功能，但是还有些疑问没有解决。比如：不使用 mini-batch 模式，去重的结果很单一，降序就只输出第一条数据（升序就一直输出最后一条） 为了解 ...