项目实战 从 0 到 1 学习之Flink（9）flink实时数仓从入门到实战
第一章、flink实时数仓入门 一、依赖 二、Flink DataSet API编程指南 Flink最大的亮点是实时处理部分，Flink认为批处理是流处理的特殊情况，可以通过一套引擎处理批量和流式数据，而Flink在未来也会重点投入更多的资源到批流融合中。我在Flink ...
原文：项目实战 从 0 到 1 学习之Flink （29）UDF实现
pom.xml 数组转字符串 方法 方法 方法 字符串转数组 字符串转map map转字符串 map转Json map字符串转json 按照hash进行排序 优化 固定顺序 测试 测试结果 C: Program Files Java jdk . . bin java.exe javaagent:C: Program Files JetBrains IntelliJ IDEA . . lib id ...
2020-11-04 10:53 0 505 推荐指数：
相关推荐
项目实战 从 0 到 1 学习之Flink（11）Flink 写入数据到 Kafka
前言 之前文章 《从0到1学习Flink》—— Flink 写入数据到 ElasticSearch 写了如何将 Kafka 中的数据存储到 ElasticSearch 中，里面其实就已经用到了 Flink 自带的 Kafka source connector ...
项目实战 从 0 到 1 学习之Flink （20）Flink读取hdfs文件
接一下以一个示例配置来介绍一下如何以Flink连接HDFS 1. 依赖HDFS pom.xml 添加依赖 2. 配置 HDFS 将hdfs-site.xml和core-site.xml放入到src/main/resources目录 ...
项目实战 从 0 到 1 学习之Flink （21）Flink读HBase并写入HBase
这里读HBase提供两种方式，一种是继承RichSourceFunction，重写父类方法，一种是实现OutputFormat接口，具体代码如下： 方式一：继承RichSourceFunction 方式二：重写TableInputFormat方法 ...
项目实战 从 0 到 1 学习之Flink （23）Flink 读取hive并写入hive
1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormatHCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： public abstract class HCatInputFormatBase<T> ...
flink入门到实战（8）flink 有状态 udf引发的大坑一
场景 最近在做一个画像的任务，sql实现的，其中有一个udf，会做很多事情，包括将从redis读出历史值加权，并将中间结果和加权后的结果更新到redis。 大家都知道，flink 是可以支持事件处理的，也就是可以没有时间的概念，那么在聚合，join等操作的时候，flink内部会维护 ...
项目实战 从 0 到 1 学习之 Flink（8）大数据之Hudi + Kylin的准实时数仓实现
问题导读：1、数据库、数据仓库如何理解？2、数据湖有什么用途？解决什么问题？3、数据仓库的加载链路如何实现？4、Hudi新一代数据湖项目有什么优势？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少锋 ...
Flink RetractStream示例及UDF函数实现
RetractPvUvSQL 代码 UDF实现 实现参数为字符串的日期解析 因为flink 已经 ...