数据湖-Apache Hudi
Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据 ...
原文：对话Apache Hudi VP, 洞悉数据湖的过去现在和未来
Apache Hudi是一个开源数据湖管理平台，用于简化增量数据处理和数据管道开发，该平台可以有效地管理业务需求，例如数据生命周期，并提高数据质量。Hudi的一些常见用例是记录级的插入 更新和删除 简化文件管理和近乎实时的数据访问以及简化的CDC数据管道开发。 本期SOFTWARE DAILY我们有幸采访到了Apache Hudi项目VP Vinoth Chandar。Vinoth是Uber Hu ...
2021-06-16 23:40 0 270 推荐指数：
相关推荐
基于Apache Hudi 的CDC数据入湖
作者：李少锋 文章目录： 一、CDC背景介绍 二、CDC数据入湖 三、Hudi核心设计 四、Hudi未来规划 1. CDC背景介绍 首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些 ...
我的过去、现在和未来
如果有一台时间机器，我想乘着它回到过去。 我叫周欣，在本地的县里读完了小学、初中还有高中。一切有关于我的过往经历都可以在这十多亿人口中找到影子。平平凡凡的长大、上学，完完全全的正常人的成长轨迹。但这其中也有一些精彩的瞬间，或是让人激动，或是让人懊悔。如同高三的时候，或许是叛逆期到了，同父 ...
过去，现在和未来
我叫 EI，这原本是 EntropyIncreaser 的简称，后来也可以叫我 Elegia。 我原本维护一个 csdn 博客，但是现在看来 csdn 的吃相实在是越来越难看，不知道几年前选择博客的时候为何弃明投暗。 作为一篇随笔，只有几句话似乎也不太好。于是就有了下面的内容： 问题解决 ...
使用Apache Spark和Apache Hudi构建分析数据湖
1. 引入 大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。 但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率 ...
基于Apache Hudi + Flink的亿级数据入湖实践
本次分享分为5个部分介绍Apache Hudi的应用与实践 实时数据落地需求演进 基于Spark+Hudi的实时数据落地应用实践 基于Flink自定义实时数据落地实践 基于Flink+Hudi的应用实践 后续应用规划及展望 1. 实时数据落地需求演进 实时平台 ...
数据湖| Hudi
1. Hudi核心概念 Hudi核心组件结构 通过Hudi客户端把数据写入Hudi, 写入的时候有两种方式: COW(copy on write)写时复制-java中的读写分离 MOR(merge on read)读时合并 (读数据的时候先合并,写数据时写到par文件中 ...
字节跳动基于Apache Hudi构建EB级数据湖实践
来自字节跳动的管梓越同学一篇关于Apache Hudi在字节跳动推荐系统中EB级数据量实践的分享。 接下来将分为场景需求、设计选型、功能支持、性能调优、未来展望五部分介绍Hudi在字节跳动推荐系统中的实践。 在推荐系统中，我们在两个场景下使用数据湖 我们使用 ...