Hudi-Flink SQL实时读取Hudi表数据
代码如下（hudi表实时写入参考上一篇[Hudi-Flink消费kafka将增量数据实时写入Hudi]） ...
原文：Flink SQL 写 hudi
Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi 对 Spark 比较亲和 一直以为会选 IceBerg，没想到 IceBerg 还有很多功能没有实现，相对来说 H ...
2021-07-19 08:17 0 735 推荐指数：
相关推荐
flink sql 写 kudu
Kudu 是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。 kudu 适合的场景 ...
Flink MySQL cdc分别sink到ES、Kafka、Hudi并通过spark-sql加载Hudi表
hadoop、spark、flink、kafka、zookeeper安装参照本博客部署安装 组件版本选择 maven安装(版本>=3.3.1) Hudi安装 flink cdc编译安装 flink集群添加cdc jar flink cdc测试 ...
Flink 1.10 SQL 写HBase
Hbase 也是我们很常用的数据存储组件，所以提前尝试下用SQL 写Hbase，中间也遇到一些坑，跟大家分享一下。 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table ...
Flink 1.10 SQL 写ElasticSearch
官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector ...
Flink sql 写 Hbase 忽略空列
数仓场景下，经常有两个表 Join 后往一个宽表写数据。比如：埋点数据中只包含 user_id，但是下游计算的需要使用用户的其他属性，就需要将埋点数据和用户数据做关联。 实时场景，需要做流表 Join，用埋点数据的 user_id 去全量用户表中取用户属性。 如果两部分数据产生的顺序不确定 ...
Flink SQL 流式写数据到 Hive
Flink 1.11 版本对SQL的优化是很多的，其中最重要的一点就是 hive 功能的完善，不再只是作为持久化的 Catalog，而是可以用原生的 Flink SQL 流式的写数据到入 hive中 本文使用官网 “Streaming Writing” 案例 （https ...
Apache Hudi与Apache Flink集成
感谢王祥虎@wangxianghu 投稿 Apache Hudi是由Uber开发并开源的数据湖框架，它于2019年1月进入Apache孵化器孵化，次年5月份顺利毕业晋升为Apache顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 Hudi自诞生至今一直使用Spark ...