Flink中接收端反压以及Credit机制 (源码分析)
先上一张图整体了解Flink中的反压 可以看到每个task都会有自己对应的IG(inputgate)对接上游发送过来的数据和RS(resultPatation)对接往下游发送数据, 整个反压机制通过inputgate,resultPatation公用一个一定大小 ...
原文：Flink中Idle停滞流机制(源码分析)
前几天在社区群上，有人问了一个问题 既然上游最小水印会决定窗口触发，那如果我上游其中一条流突然没有了数据，我的窗口还会继续触发吗 看到这个问题，我蒙了 对哈，因为我是选择上游所有流中水印最小的一条作为当前水印时间，那万一最小水印的那条流突然里面没有数据了 那我的最小水印不就一直不往前走了，一直是那个没有数据流的水印了吗，因为它的水印最小，而且一直不会更新了 然后窗口再也不触发 思考了一下，发现好像 ...
2019-08-30 17:05 2 469 推荐指数：
相关推荐
Flink中发送端反压以及Credit机制(源码分析)
上一篇《Flink接收端反压机制》说到因为Flink每个Task的接收端和发送端是共享一个bufferPool的，形成了天然的反压机制,当Task接收数据的时候，接收端会根据积压的数据量以及可用的buffer数量(可用的memorySegment数)来决定是否向上游发送Credit(简而言之 ...
Flink 中LatencyMarks延迟监控（源码分析）
流式计算中处理延迟是一个非常重要的监控metric flink中通过开启配置 metrics.latency.interval 来开启latency后就可以在metric中看到askManagerJobMetricGroup/operator_id ...
Flink中异步AsyncIO的实现 (源码分析)
先上张图整体了解Flink中的异步io 阿里贡献给flink的，优点就不说了嘛，官网上都有，就是写库不会柱塞性能更好 然后来看一下， Flink 中异步io主要分为两种 一种是有序Ordered 一种是无序UNordered 主要区别是往下游output的顺序（注意这里顺序 ...
Flink源码解析(三)——从RM与TM的心跳交互分析Flink心跳机制
0. 说明 基于Flink 1.12 1. 背景知识 1.1 Actor模型 Flink底层RPC是通过AKKA实现的，AKKA是基于Actor模型实现的框架。下面，将大致介绍一下actor模型。 在Actor模型中，一切事物都是actor，一个actor是一个基本的计算单元，每个 ...
flink checkpoint 源码分析 （一）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为 ...
flink checkpoint 源码分析 （二）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源码分析 （一）一文主要讲述了在JobManager端定时生成TriggerCheckpoint的代码部分，本文继续研究 ...
Flink中Periodic水印和Punctuated水印实现原理(源码分析)
） AssignerWithPeriodicWatermarks（周期性的生成水印） 来看一下源码中 ...