使用Apache Spark和Apache Hudi構建分析數據湖
1. 引入 大多數現代數據湖都是基於某種分布式文件系統（DFS），如HDFS或基於雲的存儲，如AWS S3構建的。遵循的基本原則之一是文件的“一次寫入多次讀取”訪問模型。這對於處理海量數據非常有用，如數百GB到TB的數據。 但是在構建分析數據湖時，更新數據並不罕見。根據不同場景，這些更新頻率 ...
原文：基於 Apache Hudi 構建增量和無限回放事件流的 OLAP 平台
. 摘要 在本博客中，我們將討論在構建流數據平台時如何利用 Hudi 的兩個最令人難以置信的能力。 增量消費 每 分鍾處理一次數據，並在我們的組織內構建每小時級別的OLAP平台 事件流的無限回放 利用 Hudi 的提交時間線在超級便宜的雲對象存儲 如 AWS S 中存儲 天的事件流 想象一個具有 天保留期的 kafka 主題 具有部分記錄更新的自定義 Hudi Payload 類 . 當前狀態 ...
2022-04-11 17:40 0 615 推薦指數：
相關推薦
字節跳動基於 Apache Hudi 的多流拼接實踐方案
字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基於 Hudi Payload 的合並機制提出的全新解決方案。 字節跳動數據湖團隊在實時數倉構建寬表的業務場景中，探索實踐出的一種基於 Hudi Payload 的合並機制提出的全新解決方案。 該方案在存儲層提供對多流 ...
Uber基於Apache Hudi構建PB級數據湖實踐
1. 引言 從確保准確預計到達時間到預測最佳交通路線，在Uber平台上提供安全、無縫的運輸和交付體驗需要可靠、高性能的大規模數據存儲和分析。2016年，Uber開發了增量處理框架Apache Hudi，以低延遲和高效率為關鍵業務數據管道賦能。一年后，我們開源了該解決方案，以使得其他有需要的組織 ...
使用Apache Pulsar + Hudi構建Lakehouse方案了解下？
和優化能力。Delta Lake，Apache Hudi和Apache Iceberg是三種構建Lake ...
字節跳動基於Apache Hudi構建EB級數據湖實踐
來自字節跳動的管梓越同學一篇關於Apache Hudi在字節跳動推薦系統中EB級數據量實踐的分享。 接下來將分為場景需求、設計選型、功能支持、性能調優、未來展望五部分介紹Hudi在字節跳動推薦系統中的實踐。 在推薦系統中，我們在兩個場景下使用數據湖 我們使用 ...
基於Apache Hudi構建數據湖的典型應用場景介紹
1. 傳統數據湖存在的問題與挑戰 傳統數據湖解決方案中，常用Hive來構建T+1級別的數據倉庫，通過HDFS存儲實現海量數據的存儲與水平擴容，通過Hive實現元數據的管理以及數據操作的SQL化。雖然能夠在海量批處理場景中取得不錯的效果，但依然存在如下現狀問題： 問題一：不支持事務 由於傳統 ...
Apache Hudi 在 B 站構建實時數據湖的實踐
保障 數據入湖實踐 增量數據湖平台收益 社區貢獻 未來的發展與思考 ...
Apache Hudi使用簡介
Apache Hudi使用簡介 目錄 Apache Hudi使用簡介 數據實時處理和實時的數據 業務場景和技術選型 Apache hudi簡介 使用Aapche Hudi整體思路 Hudi表數據結構 數據文件 ...