初识Flink广播变量broadcast
Broadcast 广播变量：可以理解为是一个公共的共享变量，我们可以把一个dataset 或者不变的缓存对象（例如map list集合对象等）数据集广播出去，然后不同的任务在节点上都能够获取到，并在每个节点上只会存在一份，而不是在每个并发线程中存在。如果不使用broadcast，则在每个节点 ...
原文：基于Broadcast 状态的Flink Etl Demo
接上文： 翻译 The Broadcast State Pattern 广播状态 最近尝试了一下Flink 的 Broadcase 功能，在Etl，流表关联场景非常适用：一个流数据量大，一个流数据量小 配置表 需要更新 业务逻辑如下： 注： 正常情况广播流只有一个输出源，更新也在这个源里，这里做了个优化：将广播流的输入源改为两部分配置文件和更新topic 原因：flink 读取文件，读完就结束了无 ...
2019-08-15 14:10 0 1304 推荐指数：
相关推荐
flink ETL数据处理
Flink ETL 实现数据清洗 一：需求(针对算法产生的日志数据进行清洗拆分) 1. 算法产生的日志数据是嵌套json格式，需要拆分 2.针对算法中的国家字段进行大区转换 3.最后把不同类型的日志数据 ...
使用 Apache Flink 开发实时ETL
Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly-once 语义的。 ...
Flink基础：实时处理管道与ETL
往期推荐： Flink基础：入门介绍 Flink基础：DataStream API Flink深入浅出：资源管理 Flink深入浅出：部署模式 Flink深入浅出：内存模型 Flink深入浅出：JDBC Source从理论到实战 Flink深入浅出：Sql Gateway ...
Flink广播流Demo
广播状态 从版本1.5.0开始，Apache Flink具有一种新的状态，称为广播状态。 三种应用场景 动态配置更新 规则改变 类似开关的功能 假设场景， 有两条流，一条是普通的流，另一条是控制流，如果需要动态调整代码逻辑时，可以使用广播状态 ...
flink cdc demo
Flink 1.11 发布了支持 MySQL CDC（Changelog Data Capture） 可以直接解析 Canal / Debezium 格式的 MySQL Binlog 对于实时处理程序，MySQL 的 Binlog 是很重要的数据源（上一个项目几乎所有实时数据都是来自业务系统 ...
Flink的WaterMark，及demo实例
实际生产中，由于各种原因，导致事件创建时间与处理时间不一致，收集的规定对实时推荐有较大的影响。所以一般情况时选取创建时间，然后事先创建flink的时间窗口。但是问题来了，如何保证这个窗口的时间内所有事件都到齐了？这个时候就可以设置水位线（waterMark）。 概念：支持基于时间 ...
Flink Java Demo（Windows）
关于Flink相关的概念性东西就不说了，网上都有，官网也很详尽。本文主要记录一下Java使用Flink的简单例子。 首先，去官网下载Flink的zip包（链接就不提供了，你已经是个成熟的程序员了，该有一定的搜索能力了），解压后放到你想放的地方。 进入主目录后，是这样子的 ...