[源码分析] 从实例和源码入手看 Flink 之广播 Broadcast
[源码分析] 从实例和源码入手看 Flink 之广播 Broadcast 0x00 摘要 本文将通过源码分析和实例讲解，带领大家熟悉Flink的广播变量机制。 0x01 业务需求 1. 场景需求 对黑名单中的IP进行检测过滤。IP黑名单的内容会随时增减，因此是可以随时动态配置 ...
原文：[源码分析] 从源码入手看 Flink Watermark 之传播过程
源码分析 从源码入手看 Flink Watermark 之传播过程 x 摘要 本文将通过源码分析，带领大家熟悉Flink Watermark 之传播过程，顺便也可以对Flink整体逻辑有一个大致把握。 x 总述 从静态角度讲，watermarks是实现流式计算的核心概念 从动态角度说，watermarks贯穿整个流处理程序。所以为了讲解watermarks的传播，需要对flink的很多模块 概念 ...
2020-02-22 17:13 0 2672 推荐指数：
相关推荐
Flink中watermark为什么选择最小一条(源码分析)
昨天在社区群看到有人问，为什么水印取最小的一条？这里分享一下自己的理解 首先水印一般是设置为：(事件时间 - 指定的值) 这里的作用是解决迟到数据的问题，从源码来看一下它如何解决的 先来看下windowOperator.java接收到数据以后做了什么 在processElement方法中 ...
分析开源项目源码，我们该如何入手分析？（授人以渔）
1 前言 本文接上篇文章跟大家聊聊我们为什么要学习源码？学习源码对我们有用吗？，那么本篇文章再继续跟小伙伴们聊聊源码这个话题。 在工作之余开始写SpringBoot源码分析专栏前，跟小伙伴们聊聊“分析开源项目源码，我们该如何入手分析？”这个话题，我们就随便扯皮，反正是跟小伙伴们一起学习交流 ...
【源码解析】Flink 是如何基于事件时间生成Timestamp和Watermark
生成Timestamp和Watermark 的三个重载方法介绍可参见上一篇博客： Flink assignAscendingTimestamps 生成水印的三个重载方法 之前想研究下Flink是怎么处理乱序的数据，看了相关的源码，加上测试，发现得到了与预期完全不相同的结果。 预期是：乱序到达 ...
flink checkpoint 源码分析 （一）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8029356.html checkpoint是Flink Fault Tolerance机制的重要构成部分，flink checkpoint的核心类名为 ...
flink checkpoint 源码分析 （二）
转发请注明原创地址http://www.cnblogs.com/dongxiao-yang/p/8260370.html flink checkpoint 源码分析 （一）一文主要讲述了在JobManager端定时生成TriggerCheckpoint的代码部分，本文继续研究 ...
Flink中TaskManager端执行用户逻辑过程(源码分析)
TaskManager接收到来自JobManager的jobGraph转换得到的TDD对象，启动了任务，在StreamInputProcessor类的processInput()方法中 通过一个wh ...
Flink源码阅读（二）——checkpoint源码分析
前言 在Flink原理——容错机制一文中，已对checkpoint的机制有了较为基础的介绍，本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程，只是尽量弄清楚整体的逻辑，没有弄清楚其实现细节，还是有遗憾的，后期还是努力去分析实现细节。文中 ...