基於 Flink CDC + Hudi 湖倉一體方案實踐
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一個 source 端的連接器，目前 2.0 版本支持從 MySQL 以及 Postgres 兩種數據源中獲取數據，2.1 版本社區確定會支持 Oracle，MongoDB 數據源 ...
原文：37 手游基於 Flink CDC + Hudi 湖倉一體方案實踐
簡介：介紹了 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC Hudi 構建新的湖倉一體方案。 本文作者是 手游大數據開發徐潤柏，介紹了 手游為何選擇 Flink 作為計算引擎，並如何基於 Flink CDC Hudi 構建新的湖倉一體方案，主要內容包括： Flink CDC 基本知識介紹 Hudi 基本知識介紹 手游的業務痛點和技術方案選型 手游湖倉一體介紹 Flink ...
2021-09-24 10:51 0 158 推薦指數：
相關推薦
汽車之家：基於 Flink + Iceberg 的湖倉一體架構實踐
簡介： 由汽車之家實時計算平台負責人邸星星在 4 月 17 日上海站 Meetup 分享的，基於 Flink + Iceberg 的湖倉一體架構實踐。 內容簡要： 一、數據倉庫架構升級的背景 二、基於 Iceberg 的湖倉一體架構實踐 三、總結與收益 ...
融合趨勢下基於 Flink Kylin Hudi 湖倉一體的大數據生態體系
簡介： 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin 和 Hudi 湖倉一體的大數據生態體系以及在 T3 的相關應用場景。 本文由 T3 出行大數據平台負責人楊華和資深大數據平台開發工程師王祥虎介紹 Flink、Kylin ...
Apache Hudi在華米科技的應用-湖倉一體化改造
徐昱 Apache Hudi Contributor；華米高級大數據開發工程師 巨東東 華米大數據開發工程師 1. 應用背景及痛點介紹 華米科技是一家基於雲的健康服務提供商，擁有全球領先的智能可穿戴技術。在華米科技，數據建設主要圍繞兩類數據：設備數據和APP數據，這些數據 ...
Hudi，Hive Sync，實現湖倉一體操作
一、將Hudi數據同步到Hive 1）需要將編譯好的hudi-hadoop-mr-bundle-0.10.0.jar，放到對應的環境中，../CDH/jars 和 ../CDH/lib/hive/lib下面，具體步驟可以參考Flink1.3.1+Hudi0.10初探 ...
華為雲FusionInsight湖倉一體解決方案的前世今生
摘要：華為雲發布新一代智能數據湖華為雲FusionInsight時再次提到了湖倉一體理念，那我們就來看看湖倉一體的前世今生。 伴隨5G、大數據、AI、IoT的飛速發展，數據呈現大規模、多樣性的極速增長，為了應對多變的業務訴求，政企客戶對數據處理分析的實時性和融合性提出了更高的要求，“湖倉 ...
湖倉一體（Data LakeHouse），到底是在聊什么？
Data Lakehouse（湖倉一體）是新出現的一種數據架構，它同時吸收了數據倉庫和數據湖的優勢，數據分析師和數據科學家可以在同一個數據存儲中對數據進行操作，同時它也能為公司進行數據治理帶來更多的便利性。那么何為Data Lakehouse呢，它具備些什么特性呢？ 具備哪些特性？ 一直以來 ...
Data LakeHouse_理解湖倉一體
Data Lakehouse（湖倉一體）是數據管理領域中的一種新架構范例，結合了Data Warehouse和Data Lakes的最佳特性。數據分析師和數據科學家可以在同一個數據存儲中對數據進行操作，同時它也能為公司進行數據治理帶來更多的便利性。 1、背景 ...