Apache Hudi 0.5.1版本重磅發布
歷經大約3個月時間，Apache Hudi 社區終於發布了0.5.1版本，這是Apache Hudi發布的第二個Apache版本，該版本中一些關鍵點如下 版本升級 將Spark版本從2.1.0升級到2.4.4 將Avro版本從1.7.7升級到1.8.2 ...
原文：Apache Hudi 0.9.0版本重磅發布！更強大的流式數據湖平台
. 重點特性 . Spark SQL支持 . . 添加了對使用 Spark SQL 的 DDL DML 的支持，朝着使所有角色 非工程師 分析師等 更容易訪問和操作 Hudi 邁出了一大步。 用戶現在可以使用 CREATE TABLE....USING HUDI 和 CREATE TABLE .. AS SELECT 語句直接在 Hive 等目錄中創建和管理表。 然后用戶可以使用 INSERT ...
2021-09-05 22:31 0 343 推薦指數：
相關推薦
Apache Hudi 0.7.0版本重磅發布
重點特性 1. Clustering 0.7.0版本中支持了對Hudi表數據進行Clustering（對數據按照數據特征進行聚簇，以便優化文件大小和數據布局），Clustering提供了更靈活地方式增加文件大小，有了Clustering特性，便可更快速地攝取數據，然后聚簇為更大的文件，實驗 ...
Apache Hudi 0.8.0版本重磅發布
1. 重點特性 1.1 Flink集成 自從Hudi 0.7.0版本支持Flink寫入后，Hudi社區又進一步完善了Flink和Hudi的集成。包括重新設計性能更好、擴展性更好、基於Flink狀態索引的寫入Pipeline；支持Flink寫入MOR表；Flink批量讀取COW和MOR表；流式 ...
Apache Hudi 0.6.0版本重磅發布
1. 下載信息 源碼：Apache Hudi 0.6.0 Source Release (asc, sha512) 二進制Jar包：nexus 2. 遷移指南 如果您從0.5.3以前的版本遷移至0.6.0，請仔細核對每個版本的遷移指南； 0.6.0版本從基於list ...
數據湖-Apache Hudi
Hudi特性 數據湖處理非結構化數據、日志數據、結構化數據 支持較快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID語義保證,多版本保證 並具有回滾功能 savepoint 用戶數據 ...
基於Apache Hudi 的CDC數據入湖
作者：李少鋒 文章目錄： 一、CDC背景介紹 二、CDC數據入湖 三、Hudi核心設計 四、Hudi未來規划 1. CDC背景介紹 首先我們介紹什么是CDC？CDC的全稱是Change data Capture，即變更數據捕獲，它是數據庫領域非常常見的技術，主要用於捕獲數據庫的一些 ...
特性速覽| Apache Hudi 0.5.3版本正式發布
1. 下載連接 源代碼下載：Apache Hudi 0.5.3 Source Release (asc, sha512) 0.5.3版本相關jar包地址：https://repository.apache.org/#nexus-search;quick~hudi 2. 遷移指南 ...
使用Apache Spark和Apache Hudi構建分析數據湖
1. 引入 大多數現代數據湖都是基於某種分布式文件系統（DFS），如HDFS或基於雲的存儲，如AWS S3構建的。遵循的基本原則之一是文件的“一次寫入多次讀取”訪問模型。這對於處理海量數據非常有用，如數百GB到TB的數據。 但是在構建分析數據湖時，更新數據並不罕見。根據不同場景，這些更新頻率 ...