基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres 兩種數據源中獲取數據，2.1 版本社區確定會支持 Oracle，MongoDB 數據源 ...
原文：汽車之家：基於 Flink + Iceberg 的湖倉一體架構實踐
簡介：由汽車之家實時計算平台負責人邸星星在 月 日上海站 Meetup 分享的，基於 Flink Iceberg 的湖倉一體架構實踐。 內容簡要： 一 數據倉庫架構升級的背景 二 基於 Iceberg 的湖倉一體架構實踐 三 總結與收益 四 后續規划 一 數據倉庫架構升級的背景 . 基於 Hive 的數據倉庫的痛點 原有的數據倉庫完全基於 Hive 建造而成，主要存在三大痛點： 痛點一：不支持 A ...
2021-06-10 10:03 0 174 推薦指數：
相關推薦
37 手游基於 Flink CDC + Hudi 湖倉一體方案實踐
簡介： 介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體方案。 本文作者是 37 手游大數據開發徐潤柏，介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體 ...
數倉架構的持續演進與發展 — 雲原生、湖倉一體、離線實時一體、SaaS模式
簡介： 數據倉庫概念從1990年提出，經過了四個主要階段。從最初的數據庫演進到數據倉庫，到MPP架構，到大數據時代的數據倉庫，再到今天的雲原生的數據倉庫。在不斷的演進過程中，數據倉庫面臨着不同的挑戰。 作者 ...
網易：Flink + Iceberg 數據湖探索與實踐
導讀：今天主要和大家交流的是網易在數據湖 Iceberg 的一些思考與實踐。從網易在數據倉庫建設中遇到的痛點出發，介紹對數據湖 Iceberg 的探索以及實踐之路。 主要內容包括： 數據倉庫平台建設的痛點 數據湖 Iceberg 的核心原理 數據湖 Iceberg ...
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
湖倉一體（Data LakeHouse），到底是在聊什么？
Data Lakehouse（湖倉一體）是新出現的一種數據架構，它同時吸收了數據倉庫和數據湖的優勢，數據分析師和數據科學家可以在同一個數據存儲中對數據進行操作，同時它也能為公司進行數據治理帶來更多的便利性。那么何為Data Lakehouse呢，它具備些什么特性呢？ 具備哪些特性？ 一直以來 ...
Data LakeHouse_理解湖倉一體
Data Lakehouse（湖倉一體）是數據管理領域中的一種新架構范例，結合了Data Warehouse和Data Lakes的最佳特性。數據分析師和數據科學家可以在同一個數據存儲中對數據進行操作，同時它也能為公司進行數據治理帶來更多的便利性。 1、背景 ...
划重點！AWS的湖倉一體使用哪種數據湖格式進行銜接？
此前Apache Hudi社區一直有小伙伴詢問能否使用Amazon Redshift查詢Hudi表，現在它終於來了。 現在您可以使用Amazon Redshift查詢Amazon S3 數據湖中Apache Hudi/Delta Lake表數據。Amazon Redshift Spectrum ...