數據湖技術及其應用
[摘要]數據湖是一個集中式存儲庫，允許以任意規模存儲所有結構化和非結構化數據，具有改造和分析數據處理能力。來自不同來源的詳細原始的數據被加載到一個綜合信息庫，可以看到提供給用戶分析的任何數據。主要思想是對企業中的所有數據進行統一存儲，從原始數據轉換為用於報告、可視化、分析和機器學習等各種任務的轉換 ...
原文：什么是數據湖技術
數據湖 Data Lake 是Pentaho公司創始人及CTO James Dixon於 年 月在 年 月紐約Hadoop World大會上提出來的一種數據存儲理念 即在系統或存儲庫中以自然格式存儲數據的方法。數據湖作為一個集中的存儲庫，可以在其中存儲任意規模的結構化和非結構化數據。在數據湖中，可以存儲不需要對其進行結構化的數據，這樣就可以運行不同類型的分析。 簡單表述總結為以下 點： 數據湖需 ...
2022-01-06 14:56 0 1385 推薦指數：
相關推薦
字節跳動數據湖技術選型的思考與落地實踐
本文是字節跳動數據平台開發套件團隊在 Flink Forward Asia 2021: Flink Forward 峰會上的演講，着重分享了字節跳動數據湖技術上的選型思考和探索實踐。 文 | Gary Li 字節跳動數據平台開發套件團隊高級研發工程師，數據湖開源項目 Apache ...
常見的三大數據湖技術Delta、Hudi、Iceberg對比
一、Delta、Hudi、Iceberg對比概覽 由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的Delta lake也顯得格外亮眼。在沒有delta數據湖之前，Databricks的客戶一般會采用經典的lambda架構來構建他們的流 ...
如何設計成功的數據湖
執行摘要 業務用戶不斷設想出新的創新方法，將數據用於運營報告和高級分析。 Data Lake是下一代數據存儲和管理解決方案，旨在滿足日益精明的用戶不斷變化的需求。 本白皮書探討了企業數據倉庫和其他現有數據管理和分析解決方案的現有挑戰。 它描述了Data Lake體系結構的必要 ...
數據湖-Apache Hudi
Hudi特性 數據湖處理非結構化數據、日志數據、結構化數據 支持較快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID語義保證,多版本保證 並具有回滾功能 savepoint 用戶數據 ...
數據湖構建與計算
簡介： 2021雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來《數據湖構建與計算》的分享。本文主要從數據的入湖和管理、引擎的選擇展開介紹了數據湖方案降本增效的特性。 摘要：2021雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來《數據湖構建與計算 ...
數據湖 Iceberg
目錄 數據湖(datalake) 對象存儲 Iceberg 功能 Schema 變更 隱式分區和分區布局變更 查詢特定版本和版本回滾 Iceberg in Spark 表格式說明 數據湖(datalake) 傳統數據 ...
數據湖| Hudi
1. Hudi核心概念 Hudi核心組件結構 通過Hudi客戶端把數據寫入Hudi, 寫入的時候有兩種方式: COW(copy on write)寫時復制-java中的讀寫分離 MOR(merge on read)讀時合並 (讀數據的時候先合並,寫數據時寫到par文件中 ...