概要 數據湖的業務場景主要包括對數據庫、日志、文件的分析，而管理數據湖有兩點比較重要：寫入的吞吐量和查詢性能，這里主要說明以下問題： hudi clustering hudi支持clustering功能，在不影響查詢性能的情況下提高寫入吞吐量。該功能可以以不同方式重寫數據： 1、數據 ...

小文件合並解析 執行代碼： 以上示例中，指定了進行 clustering 的觸發頻率：每4次提交就觸發一次，並指定了文件相關大小：生成新文件的最大大小、小文件最小大小。 執行步驟： 1、生成數據，插入數據。 查看當前磁盤上的文件： 查看表內數據個數： 查看 ...

1. 摘要 在之前的一篇博客中，我們介紹了Clustering(聚簇)的表服務來重新組織數據來提供更好的查詢性能，而不用降低攝取速度，並且我們已經知道如何部署同步Clustering，本篇博客中，我們將討論近期社區做的一些改進以及如何通過HoodieClusteringJob ...

1. 引入 大多數現代數據湖都是基於某種分布式文件系統（DFS），如HDFS或基於雲的存儲，如AWS S3構建的。遵循的基本原則之一是文件的“一次寫入多次讀取”訪問模型。這對於處理海量數據非常有用，如數百GB到TB的數據。 但是在構建分析數據湖時，更新數據並不罕見。根據不同場景，這些更新頻率 ...

1. Hudi核心概念 Hudi核心組件結構 通過Hudi客戶端把數據寫入Hudi, 寫入的時候有兩種方式: COW(copy on write)寫時復制-java中的讀寫分離 MOR(merge on read)讀時合並 (讀數據的時候先合並,寫數據時寫到par文件中 ...

Apache Hudi使用簡介 目錄 Apache Hudi使用簡介 數據實時處理和實時的數據 業務場景和技術選型 Apache hudi簡介 使用Aapche Hudi整體思路 Hudi表數據結構 數據 ...

環境准備 集成jar包：hudi-hadoop-mr-bundle-0.10.1.jar，放入$HIVE_HOME/lib目錄下 建外部表 手動加入分區 查看分區 SHOW PARTITIONS db_hudi.tbl_hudi ...

Hudi特性 數據湖處理非結構化數據、日志數據、結構化數據 支持較快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID語義保證,多版本保證 並具有回滾功能 savepoint 用戶數據 ...