Flink基础：实时处理管道与ETL
源码分析 Flink深入浅出：JDBC Connector源码分析 Flink的经典使用场景是ET ...
原文：使用 Apache Flink 开发实时ETL
Apache Flink 是大数据领域又一新兴框架。它与 Spark 的不同之处在于，它是使用流式处理来模拟批量处理的，因此能够提供亚秒级的 符合 Exactly once 语义的实时处理能力。Flink 的使用场景之一是构建实时的数据通道，在不同的存储之间搬运和转换数据。本文将介绍如何使用 Flink 开发实时 ETL 程序，并介绍 Flink 是如何保证其 Exactly once 语义的。 ...
2021-06-11 11:14 0 171 推荐指数：
相关推荐
什么是Apache Flink实时流计算框架？
一.概述 Apache Flink 是一个框架和分布式处理引擎，用于对无限制和有限制的数据流进行有状态的计算。Flink被设计为可以在所有常见的集群环境中运行，以内存速度和任何规模的计算。 首先，需要对什么是无限制什么是有限制做一下说明，首先看官方的解释： 1、无限制 ...
基于flink快速开发实时TopN程序
。 我们以统计词频为例展示一下如何快速开发一个计算TopN的flink程序。 flink支持 ...
flink ETL数据处理
Flink ETL 实现数据清洗 一：需求(针对算法产生的日志数据进行清洗拆分) 1. 算法产生的日志数据是嵌套json格式，需要拆分 2.针对算法中的国家字段进行大区转换 3.最后把不同类型的日志数据 ...
基于Broadcast 状态的Flink Etl Demo
接上文： 【翻译】The Broadcast State Pattern（广播状态） 最近尝试了一下Flink 的 Broadcase 功能，在Etl，流表关联场景非常适用：一个流数据量大，一个流数据量小（配置表）需要更新 业务逻辑如下： 注： 正常情况广播流只有一个输出源 ...
实时数仓入门训练营：基于 Apache Flink + Hologres 的实时推荐系统架构解析
简介： 《实时数仓入门训练营》由阿里云研究员王峰、阿里云资深技术专家金晓军、阿里云高级产品专家刘一鸣等实时计算 Flink 版和 Hologres 的多名技术/产品一线专家齐上阵，合力搭建此次训练营的课程体系，精心打磨课程内容，直击当下同学们所遇到的痛点问题。由浅入深全方位解析实时数仓 ...
Apache Flink
Flink 剖析 1.概述 在如今数据爆炸的时代，企业的数据量与日俱增，大数据产品层出不穷。今天给大家分享一款产品—— Apache Flink，目前，已是 Apache 顶级项目之一。那么，接下来，笔者为大家介绍Flink 的相关内容。 2.内容 2.1 What's ...
部署Kettle做ETL开发并使用Crontab制作调度系统
背景说明： 在数据量较小，且数据源和装载地都是关系型数据库时，使用Kettle做ETL较为简便。 由于调度系统产品因为服务器环境方面的因素，而无法部署，故使用Linux的crontab定时器来制作简易调度系统是一个比较简便的解决方案。 本文旨在记录Kettle的部署及配置文件配置注意事项和如何自制 ...