原文:Flink 读写 iceberg

iceberg . 发布的时候稍微尝试了一下,发现实际并没有说的那么厉害,很多功能其实还在开发中 比如: upsert 贴段之前写的 flink sql: 注: 貌似没有 hive catalog,只能放在 hadoop 上面,不支持 upsert iceberg master github 下载 iceberg master 代码,编译了 Flink . . 版本 . 遇到包冲突,本次使用 . ...

2022-01-05 10:31 0 4566 推荐指数:

查看详情

Flink集成Iceberg

Flink: 1.11.0 Iceberg: 0.11.1 hive: 2.3.8 hadoop: 3.2.2 java: 1.8 scala: 2.11 一、下载或编译iceberg-flink-runtime jar包 下载 ...

Wed May 12 19:02:00 CST 2021 0 427
Flink集成Iceberg简介

1. 概述 Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format ...

Wed Mar 17 22:48:00 CST 2021 0 4443
网易:Flink + Iceberg 数据湖探索与实践

导读:今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。 主要内容包括: 数据仓库平台建设的痛点 数据湖 Iceberg 的核心原理 数据湖 Iceberg ...

Wed Oct 28 18:28:00 CST 2020 0 679
Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

简介: 数据湖的架构中,CDC 数据实时读写的方案和原理 本文由李劲松、胡争分享,社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中,CDC 数据实时读写的方案和原理。文章主要分为 4 个部分内容: 常见的 CDC 分析方案 为何选择 Flink + Iceberg ...

Fri Feb 26 17:29:00 CST 2021 0 529
汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

简介: 由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的,基于 Flink + Iceberg 的湖仓一体架构实践。 内容简要: 一、数据仓库架构升级的背景 二、基于 Iceberg 的湖仓一体架构实践 三、总结与收益 ...

Thu Jun 10 18:03:00 CST 2021 0 174
flink 读写mysql

flink读写mysql总是出问题,记录一下 先是pom文件: ...

Fri Jul 17 04:32:00 CST 2020 0 987
Flink读写Kafka

Flink 读写Kafka 在Flink中,我们分别用Source Connectors代表连接数据源的连接器,用Sink Connector代表连接数据输出的连接器。下面我们介绍一下Flink中用于读写kafka的source & sink connector。 Apache ...

Sun Nov 10 17:00:00 CST 2019 0 2177
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM