基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres 兩種數據源中獲取數據，2.1 版本社區確定會支持 Oracle，MongoDB 數據 ...
原文：融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介：本文由 T 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T 的相關應用場景。 本文由 T 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T 的相關應用場景，內容包括： 湖倉一體的架構 Flink Hudi Kylin 介 ...
2021-04-23 14:05 0 250 推薦指數：
相關推薦
離線實時一體化數倉與湖倉一體—雲原生大數據平台的持續演進
簡介：阿里雲智能研究員 林偉 ：阿里巴巴從湖到倉的演進給我們帶來了湖倉一體的思考，使得湖的靈活性、數據種類豐富與倉的可成長性和企業級管理得到有機融合，這是阿里巴巴最佳實踐的寶貴資產，是大數據的新一代架構。 林偉，阿里雲智能研究員、阿里雲智能通用計算平台MaxCompute ...
項目實戰 從 0 到 1 學習之 Flink（8）大數據之Hudi + Kylin的准實時數倉實現
問題導讀：1、數據庫、數據倉庫如何理解？2、數據湖有什么用途？解決什么問題？3、數據倉庫的加載鏈路如何實現？4、Hudi新一代數據湖項目有什么優勢？在近期的 Apache Kylin × Apache Hudi Meetup 直播上，Apache Kylin PMC Chair 史少鋒 ...
37 手游基於 Flink CDC + Hudi 湖倉一體方案實踐
簡介： 介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體方案。 本文作者是 37 手游大數據開發徐潤柏，介紹了 37 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC + Hudi 構建新的湖倉一體 ...
汽車之家：基於 Flink + Iceberg 的湖倉一體架構實踐
簡介： 由汽車之家實時計算平台負責人邸星星在 4 月 17 日上海站 Meetup 分享的，基於 Flink + Iceberg 的湖倉一體架構實踐。 內容簡要： 一、數據倉庫架構升級的背景 二、基於 Iceberg 的湖倉一體架構實踐 三、總結與收益 ...
Apache Hudi在華米科技的應用-湖倉一體化改造
徐昱 Apache Hudi Contributor；華米高級大數據開發工程師 巨東東 華米大數據開發工程師 1. 應用背景及痛點介紹 華米科技是一家基於雲的健康服務提供商，擁有全球領先的智能可穿戴技術。在華米科技，數據建設主要圍繞兩類數據：設備數據和APP數據，這些數據 ...
常見的三大數據湖技術Delta、Hudi、Iceberg對比
一、Delta、Hudi、Iceberg對比概覽 由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的Delta lake也顯得格外亮眼。在沒有delta數據湖之前，Databricks的客戶一般會采用經典的lambda架構來構建他們的流 ...
划重點！AWS的湖倉一體使用哪種數據湖格式進行銜接？
此前Apache Hudi社區一直有小伙伴詢問能否使用Amazon Redshift查詢Hudi表，現在它終於來了。 現在您可以使用Amazon Redshift查詢Amazon S3 數據湖中Apache Hudi/Delta Lake表數據。Amazon Redshift Spectrum ...