Flink SQL 写 hudi
# Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi ...
原文：flink sql 写 kudu
Kudu 是现在比较火的一款存储引擎，集HDFS的顺序读和HBase的随机读于一身，非常适合物流网场景，刚刚到达的数据就马上要被终端用户使用访问到,未来还要做大规模的数据分析。 kudu 适合的场景 以下内容来自网络 ： 最近感觉在批量读 hbase 上遇到了瓶颈，急需寻找新的解决方案，这是时候看到了 kudu，看了介绍，感觉非常适合我们的场景：物流网场景，设备上传的数据，需要实时查询，又需要对设 ...
2021-04-16 17:41 1 1228 推荐指数：
相关推荐
Flink 1.10 SQL 写ElasticSearch
官网对应页面：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table/connect.html#elasticsearch-connector Flink SQL ElasticSearch connector ...
Flink 1.10 SQL 写HBase
Hbase 也是我们很常用的数据存储组件，所以提前尝试下用SQL 写Hbase，中间也遇到一些坑，跟大家分享一下。 官网地址：https://ci.apache.org/projects/flink/flink-docs-release-1.10/dev/table ...
Flink sql 写 Hbase 忽略空列
数仓场景下，经常有两个表 Join 后往一个宽表写数据。比如：埋点数据中只包含 user_id，但是下游计算的需要使用用户的其他属性，就需要将埋点数据和用户数据做关联。 实时场景，需要做流表 Join，用埋点数据的 user_id 去全量用户表中取用户属性。 如果两部分数据产生的顺序不确定 ...
Flink SQL 流式写数据到 Hive
Flink 1.11 版本对SQL的优化是很多的，其中最重要的一点就是 hive 功能的完善，不再只是作为持久化的 Catalog，而是可以用原生的 Flink SQL 流式的写数据到入 hive中 本文使用官网 “Streaming Writing” 案例 （https ...
kudu的写数据流程
写入操作是指需进行插入、更新或删除操作的一组行。需要注意的事项是Kudu强制执行主关键字的唯一性，主关键字是可以更改行的唯一标识符。为了强制执行此约束条件，Kudu必须以不同的方式处理插入和更新操作，并且这会影响tablet服务器如何处理写入 Kudu中的每个tablet包含预写式 ...
Flink 1.10 SQL 写 Hbase 数据无法写入hbase问题
接之前的：Flink 1.10 SQL 写HBase 有朋友看了之前的 sql 写 Hbase 的博客，自己试了写，可能没有得到预期的结果 之前在捣腾的时候，也花了不少时间，这里大概写下遇到的两个问题 1、hbase 表参数问题 我们有多套hbase 集群，之前 ...
kudu
Kudu White Paper http://www.cloudera.com/documentation/betas/kudu/0-5-0/topics/kudu_resources.html http://getkudu.io/overview.html Kudu ...