Flink 1.10 SQL 写HBase
Hbase 也是我们很常用的数据存储组件，所以提前尝试下用SQL 写Hbase，中间也遇到一些坑，跟大家分享一下。 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table ...
原文：Flink sql 写 Hbase 忽略空列
数仓场景下，经常有两个表 Join 后往一个宽表写数据。比如：埋点数据中只包含 user id，但是下游计算的需要使用用户的其他属性，就需要将埋点数据和用户数据做关联。 实时场景，需要做流表 Join，用埋点数据的 user id 去全量用户表中取用户属性。 如果两部分数据产生的顺序不确定，可能先生成A，也可能先生成B，并且先后的时间范围也不一定，可能是一起生成，也可能隔三五天。 两部分数据生成的 ...
2021-09-07 17:34 0 121 推荐指数：
相关推荐
Flink 1.10 SQL 写 Hbase 数据无法写入hbase问题
接之前的：Flink 1.10 SQL 写HBase 有朋友看了之前的 sql 写 Hbase 的博客，自己试了写，可能没有得到预期的结果 之前在捣腾的时候，也花了不少时间，这里大概写下遇到的两个问题 1、hbase 表参数问题 我们有多套hbase 集群，之前 ...
flink sql 写 kudu
Kudu 是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。 kudu 适合的场景（以下内容来自网络）： 最近感觉在批量读 hbase 上遇到了瓶颈，急需寻找新 ...
Flink SQL 写 hudi
# Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi ...
flink sql join hbase demo
lookup join mysql demo： flink lookup join mysql demo ## join rowkey 测试 hbase 维表Lookup 功能正常，可以正常缓存数据，缓存也会定时失效，透查Hbase * 注： 随便测试了一下 ...
Flink 1.10 SQL 写ElasticSearch
官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector ...
Flink SQL 流式写数据到 Hive
Flink 1.11 版本对SQL的优化是很多的，其中最重要的一点就是 hive 功能的完善，不再只是作为持久化的 Catalog，而是可以用原生的 Flink SQL 流式的写数据到入 hive中 本文使用官网 “Streaming Writing” 案例 （https ...
Flink Sql Lookup Join Hbase 表非主键
flink 关联 hbase 表非主键 关联 Hbase 表非主键的功能，是我们一直都在做的事情，只是实现的方式不同。 在 Flink 1.10 版本的时候，SQL 关联 Hbase，都是在 SqlSubmit 程序启动的时候，基于配置文件生成 UDF 并注册成临时函数，直到 ...