基于 Flink CDC + Hudi 湖仓一体方案实践
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源 ...
原文：汽车之家：基于 Flink + Iceberg 的湖仓一体架构实践
简介：由汽车之家实时计算平台负责人邸星星在 月 日上海站 Meetup 分享的，基于 Flink Iceberg 的湖仓一体架构实践。 内容简要： 一 数据仓库架构升级的背景 二 基于 Iceberg 的湖仓一体架构实践 三 总结与收益 四 后续规划 一 数据仓库架构升级的背景 . 基于 Hive 的数据仓库的痛点 原有的数据仓库完全基于 Hive 建造而成，主要存在三大痛点： 痛点一：不支持 A ...
2021-06-10 10:03 0 174 推荐指数：
相关推荐
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
简介： 介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案。 本文作者是 37 手游大数据开发徐润柏，介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体 ...
数仓架构的持续演进与发展 — 云原生、湖仓一体、离线实时一体、SaaS模式
简介： 数据仓库概念从1990年提出，经过了四个主要阶段。从最初的数据库演进到数据仓库，到MPP架构，到大数据时代的数据仓库，再到今天的云原生的数据仓库。在不断的演进过程中，数据仓库面临着不同的挑战。 作者 ...
网易：Flink + Iceberg 数据湖探索与实践
导读：今天主要和大家交流的是网易在数据湖 Iceberg 的一些思考与实践。从网易在数据仓库建设中遇到的痛点出发，介绍对数据湖 Iceberg 的探索以及实践之路。 主要内容包括： 数据仓库平台建设的痛点 数据湖 Iceberg 的核心原理 数据湖 Iceberg ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介： 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景。 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin ...
湖仓一体（Data LakeHouse），到底是在聊什么？
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来 ...
Data LakeHouse_理解湖仓一体
Data Lakehouse（湖仓一体）是数据管理领域中的一种新架构范例，结合了Data Warehouse和Data Lakes的最佳特性。数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。 1、背景 ...
划重点！AWS的湖仓一体使用哪种数据湖格式进行衔接？
此前Apache Hudi社区一直有小伙伴询问能否使用Amazon Redshift查询Hudi表，现在它终于来了。 现在您可以使用Amazon Redshift查询Amazon S3 数据湖中Apache Hudi/Delta Lake表数据。Amazon Redshift Spectrum ...