Apache Hudi 0.5.1版本重磅发布
历经大约3个月时间，Apache Hudi 社区终于发布了0.5.1版本，这是Apache Hudi发布的第二个Apache版本，该版本中一些关键点如下 版本升级 将Spark版本从2.1.0升级到2.4.4 将Avro版本从1.7.7升级到1.8.2 ...
原文：Apache Hudi 0.9.0版本重磅发布！更强大的流式数据湖平台
. 重点特性 . Spark SQL支持 . . 添加了对使用 Spark SQL 的 DDL DML 的支持，朝着使所有角色 非工程师 分析师等 更容易访问和操作 Hudi 迈出了一大步。 用户现在可以使用 CREATE TABLE....USING HUDI 和 CREATE TABLE .. AS SELECT 语句直接在 Hive 等目录中创建和管理表。 然后用户可以使用 INSERT ...
2021-09-05 22:31 0 343 推荐指数：
相关推荐
Apache Hudi 0.7.0版本重磅发布
重点特性 1. Clustering 0.7.0版本中支持了对Hudi表数据进行Clustering（对数据按照数据特征进行聚簇，以便优化文件大小和数据布局），Clustering提供了更灵活地方式增加文件大小，有了Clustering特性，便可更快速地摄取数据，然后聚簇为更大的文件，实验 ...
Apache Hudi 0.8.0版本重磅发布
1. 重点特性 1.1 Flink集成 自从Hudi 0.7.0版本支持Flink写入后，Hudi社区又进一步完善了Flink和Hudi的集成。包括重新设计性能更好、扩展性更好、基于Flink状态索引的写入Pipeline；支持Flink写入MOR表；Flink批量读取COW和MOR表；流式 ...
Apache Hudi 0.6.0版本重磅发布
1. 下载信息 源码：Apache Hudi 0.6.0 Source Release (asc, sha512) 二进制Jar包：nexus 2. 迁移指南 如果您从0.5.3以前的版本迁移至0.6.0，请仔细核对每个版本的迁移指南； 0.6.0版本从基于list ...
数据湖-Apache Hudi
Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据 ...
基于Apache Hudi 的CDC数据入湖
作者：李少锋 文章目录： 一、CDC背景介绍 二、CDC数据入湖 三、Hudi核心设计 四、Hudi未来规划 1. CDC背景介绍 首先我们介绍什么是CDC？CDC的全称是Change data Capture，即变更数据捕获，它是数据库领域非常常见的技术，主要用于捕获数据库的一些 ...
特性速览| Apache Hudi 0.5.3版本正式发布
1. 下载连接 源代码下载：Apache Hudi 0.5.3 Source Release (asc, sha512) 0.5.3版本相关jar包地址：https://repository.apache.org/#nexus-search;quick~hudi 2. 迁移指南 ...
使用Apache Spark和Apache Hudi构建分析数据湖
1. 引入 大多数现代数据湖都是基于某种分布式文件系统（DFS），如HDFS或基于云的存储，如AWS S3构建的。遵循的基本原则之一是文件的“一次写入多次读取”访问模型。这对于处理海量数据非常有用，如数百GB到TB的数据。 但是在构建分析数据湖时，更新数据并不罕见。根据不同场景，这些更新频率 ...