什么是數據湖技術
數據湖(Data Lake)是Pentaho公司創始人及CTO James Dixon於2010年10月在2010年10月紐約Hadoop World大會上提出來的一種數據存儲理念—即在系統或存儲庫中以自然格式存儲數據的方法。數據湖作為一個集中的存儲庫，可以在其中存儲任意規模的結構化 ...
原文：數據湖技術及其應用
摘要 數據湖是一個集中式存儲庫，允許以任意規模存儲所有結構化和非結構化數據，具有改造和分析數據處理能力。來自不同來源的詳細原始的數據被加載到一個綜合信息庫，可以看到提供給用戶分析的任何數據。主要思想是對企業中的所有數據進行統一存儲，從原始數據轉換為用於報告 可視化 分析和機器學習等各種任務的轉換數據。數據倉庫是一個優化的數據庫，用於分析來自事務系統和業務線應用程序的關系數據。數據倉庫技術需要事先 ...
2021-06-24 10:02 0 186 推薦指數：
相關推薦
字節跳動數據湖技術選型的思考與落地實踐
本文是字節跳動數據平台開發套件團隊在 Flink Forward Asia 2021: Flink Forward 峰會上的演講，着重分享了字節跳動數據湖技術上的選型思考和探索實踐。 文 | Gary Li 字節跳動數據平台開發套件團隊高級研發工程師，數據湖開源項目 Apache ...
常見的三大數據湖技術Delta、Hudi、Iceberg對比
一、Delta、Hudi、Iceberg對比概覽 由於Apache Spark在商業化上取得巨大成功，所以由其背后商業公司Databricks推出的Delta lake也顯得格外亮眼。在沒有delta數據湖之前，Databricks的客戶一般會采用經典的lambda架構來構建他們的流 ...
基於Apache Hudi構建數據湖的典型應用場景介紹
1. 傳統數據湖存在的問題與挑戰 傳統數據湖解決方案中，常用Hive來構建T+1級別的數據倉庫，通過HDFS存儲實現海量數據的存儲與水平擴容，通過Hive實現元數據的管理以及數據操作的SQL化。雖然能夠在海量批處理場景中取得不錯的效果，但依然存在如下現狀問題： 問題一：不支持事務 由於傳統 ...
如何設計成功的數據湖
執行摘要 業務用戶不斷設想出新的創新方法，將數據用於運營報告和高級分析。 Data Lake是下一代數據存儲和管理解決方案，旨在滿足日益精明的用戶不斷變化的需求。 本白皮書探討了企業數據倉庫和其他現有數據管理和分析解決方案的現有挑戰。 它描述了Data Lake體系結構的必要 ...
數據湖-Apache Hudi
Hudi特性 數據湖處理非結構化數據、日志數據、結構化數據 支持較快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID語義保證,多版本保證 並具有回滾功能 savepoint 用戶數據 ...
數據湖構建與計算
簡介： 2021雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來《數據湖構建與計算》的分享。本文主要從數據的入湖和管理、引擎的選擇展開介紹了數據湖方案降本增效的特性。 摘要：2021雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來《數據湖構建與計算 ...
數據湖 Iceberg
目錄 數據湖(datalake) 對象存儲 Iceberg 功能 Schema 變更 隱式分區和分區布局變更 查詢特定版本和版本回滾 Iceberg in Spark 表格式說明 數據湖(datalake) 傳統數據 ...