基于 Flink CDC + Hudi 湖仓一体方案实践
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源 ...
原文：37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
简介：介绍了 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC Hudi 构建新的湖仓一体方案。 本文作者是 手游大数据开发徐润柏，介绍了 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC Hudi 构建新的湖仓一体方案，主要内容包括： Flink CDC 基本知识介绍 Hudi 基本知识介绍 手游的业务痛点和技术方案选型 手游湖仓一体介绍 Flink ...
2021-09-24 10:51 0 158 推荐指数：
相关推荐
汽车之家：基于 Flink + Iceberg 的湖仓一体架构实践
简介： 由汽车之家实时计算平台负责人邸星星在 4 月 17 日上海站 Meetup 分享的，基于 Flink + Iceberg 的湖仓一体架构实践。 内容简要： 一、数据仓库架构升级的背景 二、基于 Iceberg 的湖仓一体架构实践 三、总结与收益 ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介： 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景。 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin ...
Apache Hudi在华米科技的应用-湖仓一体化改造
徐昱 Apache Hudi Contributor；华米高级大数据开发工程师 巨东东 华米大数据开发工程师 1. 应用背景及痛点介绍 华米科技是一家基于云的健康服务提供商，拥有全球领先的智能可穿戴技术。在华米科技，数据建设主要围绕两类数据：设备数据和APP数据，这些数据 ...
Hudi，Hive Sync，实现湖仓一体操作
一、将Hudi数据同步到Hive 1）需要将编译好的hudi-hadoop-mr-bundle-0.10.0.jar，放到对应的环境中，../CDH/jars 和 ../CDH/lib/hive/lib下面，具体步骤可以参考Flink1.3.1+Hudi0.10初探 ...
华为云FusionInsight湖仓一体解决方案的前世今生
摘要：华为云发布新一代智能数据湖华为云FusionInsight时再次提到了湖仓一体理念，那我们就来看看湖仓一体的前世今生。 伴随5G、大数据、AI、IoT的飞速发展，数据呈现大规模、多样性的极速增长，为了应对多变的业务诉求，政企客户对数据处理分析的实时性和融合性提出了更高的要求，“湖仓 ...
湖仓一体（Data LakeHouse），到底是在聊什么？
Data Lakehouse（湖仓一体）是新出现的一种数据架构，它同时吸收了数据仓库和数据湖的优势，数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。那么何为Data Lakehouse呢，它具备些什么特性呢？ 具备哪些特性？ 一直以来 ...
Data LakeHouse_理解湖仓一体
Data Lakehouse（湖仓一体）是数据管理领域中的一种新架构范例，结合了Data Warehouse和Data Lakes的最佳特性。数据分析师和数据科学家可以在同一个数据存储中对数据进行操作，同时它也能为公司进行数据治理带来更多的便利性。 1、背景 ...