1. 概述 Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high-performance format ...

iceberg 0.11 发布的时候稍微尝试了一下，发现实际并没有说的那么厉害，很多功能其实还在开发中(比如： upsert) 贴段之前写的 flink sql： 注： 貌似没有 hive catalog，只能放在 hadoop 上面，不支持 upsert iceberg master ...

导读：今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。 主要内容包括： 数据仓库平台建设的痛点 数据湖 Iceberg 的核心原理 数据湖 Iceberg ...

简介： 数据湖的架构中，CDC 数据实时读写的方案和原理 本文由李劲松、胡争分享，社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中，CDC 数据实时读写的方案和原理。文章主要分为 4 个部分内容： 常见的 CDC 分析方案 为何选择 Flink + Iceberg ...

简介： 由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的，基于 Flink + Iceberg 的湖仓一体架构实践。 内容简要： 一、数据仓库架构升级的背景 二、基于 Iceberg 的湖仓一体架构实践 三、总结与收益 ...

Apache Flink是新一代的分布式流式数据处理框架，它统一的处理引擎既可以处理批数据(batch data)也可以处理流式数据(streaming data)。在实际场景中，Flink利用Apache Kafka作为上下游的输入输出十分常见，本文将给出一个可运行的实际例子来集成两者。 1. ...

Iceberg； 如何通过 Flink+Iceberg 实现流式入湖 社区未来规划工作。 ...

数据湖的前世今生 互联网技术发展的当下，数据是各大公司最宝贵的资源之一已经是不争的事实。收据的收集、存储和分析已经成为科技公司最重要的技术组成部分。大数据领域经过近十年的高速发展，无论是实时计算还是 ...