原文:Flink集成Iceberg简介

. 概述 Apache Iceberg is an open table format for huge analytic datasets. Iceberg adds tables to Presto and Spark that use a high performance format that works just like a SQL table. 官方的定义,iceberg是一种表格 ...

2021-03-17 14:48 0 4443 推荐指数:

查看详情

Flink集成Iceberg

Flink: 1.11.0 Iceberg: 0.11.1 hive: 2.3.8 hadoop: 3.2.2 java: 1.8 scala: 2.11 一、下载或编译iceberg-flink-runtime jar包 下载 ...

Wed May 12 19:02:00 CST 2021 0 427
Flink 读写 iceberg

iceberg 0.11 发布的时候稍微尝试了一下,发现实际并没有说的那么厉害,很多功能其实还在开发中(比如: upsert) 贴段之前写的 flink sql: 注: 貌似没有 hive catalog,只能放在 hadoop 上面,不支持 upsert iceberg master ...

Wed Jan 05 18:31:00 CST 2022 0 4566
网易:Flink + Iceberg 数据湖探索与实践

导读:今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发,介绍对数据湖 Iceberg 的探索以及实践之路。 主要内容包括: 数据仓库平台建设的痛点 数据湖 Iceberg 的核心原理 数据湖 Iceberg ...

Wed Oct 28 18:28:00 CST 2020 0 679
Flink 如何实时分析 Iceberg 数据湖的 CDC 数据

简介: 数据湖的架构中,CDC 数据实时读写的方案和原理 本文由李劲松、胡争分享,社区志愿者杨伟海、李培殿整理。主要介绍在数据湖的架构中,CDC 数据实时读写的方案和原理。文章主要分为 4 个部分内容: 常见的 CDC 分析方案 为何选择 Flink + Iceberg ...

Fri Feb 26 17:29:00 CST 2021 0 529
一、Flink简介

这几年,在整个大数据领域,Flink可算是火得一塌糊,不但将阿里Blink中的大部分特性merge到社区的Flink中,使得Flink在流式实时计算领域更是一骑绝尘,让其他实时计算框架只能望其项背,目前Flink根本经看不到其他的对手!同时Flink新版本又完美的兼容Hive,使得Flink在离线 ...

Sat Jan 22 00:00:00 CST 2022 0 937
Flink简介

目录 特点 Use Case Flink (最新 1.10 版本) vs Spark (最新 2.4.5) 架构 运行模式 Layered APIs & Component Stack DataStream 例子 DataSet 例子 ...

Sun Jun 28 01:31:00 CST 2020 0 553
Flink(一)Flink的入门简介

一. Flink的引入 这几年大数据的飞速发展,出现了很多热门的开源社区,其中著名的有 Hadoop、Storm,以及后来的 Spark,他们都有着各自专注的应用场景。Spark 掀开了内存计算的先河,也以内存为赌注,赢得了内存计算的飞速发展。Spark 的火热或多或少的掩盖 ...

Tue Oct 09 03:09:00 CST 2018 1 63920
汽车之家:基于 Flink + Iceberg 的湖仓一体架构实践

简介: 由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的,基于 Flink + Iceberg 的湖仓一体架构实践。 内容简要: 一、数据仓库架构升级的背景 二、基于 Iceberg 的湖仓一体架构实践 三、总结与收益 ...

Thu Jun 10 18:03:00 CST 2021 0 174
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM