离线实时一体化数仓与湖仓一体—云原生大数据平台的持续演进
、机器学习PAI平台技术负责人 本篇内容将从三个部分为读者讲述离线实时一体化数仓与湖仓一体—云原生大数据平 ...
原文：Apache Hudi在华米科技的应用-湖仓一体化改造
徐昱 Apache Hudi Contributor 华米高级大数据开发工程师 巨东东 华米大数据开发工程师 . 应用背景及痛点介绍 华米科技是一家基于云的健康服务提供商，拥有全球领先的智能可穿戴技术。在华米科技，数据建设主要围绕两类数据：设备数据和APP数据，这些数据存在延迟上传 更新频率高且广 可删除等特性，基于这些特性，前期数仓ETL主要采取历史全量 增量模式来每日更新数据。随着业务的持续 ...
2021-11-14 21:44 0 223 推荐指数：
相关推荐
基于 Flink CDC + Hudi 湖仓一体方案实践
一、Flink-CDC 2.0 Flink CDC Connectors 是 Apache Flink 的一个 source 端的连接器，目前 2.0 版本支持从 MySQL 以及 Postgres 两种数据源中获取数据，2.1 版本社区确定会支持 Oracle，MongoDB 数据源 ...
融合趋势下基于 Flink Kylin Hudi 湖仓一体的大数据生态体系
简介： 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin 和 Hudi 湖仓一体的大数据生态体系以及在 T3 的相关应用场景。 本文由 T3 出行大数据平台负责人杨华和资深大数据平台开发工程师王祥虎介绍 Flink、Kylin ...
37 手游基于 Flink CDC + Hudi 湖仓一体方案实践
简介： 介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体方案。 本文作者是 37 手游大数据开发徐润柏，介绍了 37 手游为何选择 Flink 作为计算引擎，并如何基于 Flink CDC + Hudi 构建新的湖仓一体 ...
云仓系统开发云商仓配一体化模式详解
云仓系统开发（苏铭.188.1414.7927）云仓系统，云仓模式，云仓平台，云商系统，云商模式，云商平台，云仓管理系统，仓配一体化，云仓是个什么概念呢?随便问一个物流经理人可能未必说的会很全面，但是随着云仓的普及和发展，我们需要去梳理一下云仓产生的原因，形式以及由云仓所带来的创新 ...
Hudi，Hive Sync，实现湖仓一体操作
一、将Hudi数据同步到Hive 1）需要将编译好的hudi-hadoop-mr-bundle-0.10.0.jar，放到对应的环境中，../CDH/jars 和 ../CDH/lib/hive/lib下面，具体步骤可以参考Flink1.3.1+Hudi0.10初探 ...
一文读懂云原生一体化数仓
简介：阿里云云原生一体化数仓产品技术深度解读。 本文大纲 一、云原生一体化数仓的发布背景 1 市场情况 2 挑战和痛点 二、云原生一体化数仓是什么 三、云原生一体化数仓的技术理念 1 离线实时一体 2 湖仓一体 3 分析服务一体 4 全链路数据治理 一、云原生 ...
触宝科技基于Apache Hudi的流批一体架构实践
1. 前言 当前公司的大数据实时链路如下图，数据源是MySQL数据库，然后通过Binlog Query的方式消费或者直接客户端采集到Kafka，最终通过基于Spark/Flink实现的批流一体计算引擎处理，最后输出到下游对应的存储。 2. 模型特征架构的演进 2.1 第一代架构 ...