銀行大數據新玩法，構建“一湖兩庫”金融數據湖
摘要：煙囪式的數據平台建設導致“數據孤島”，“一湖兩平台”的金融數據湖讓大數據發揮最大的業務價值。 大數據技術經過近幾年的快速發展，在企業數據中心的基礎設施上已不鮮見，尤其是金融行業，大數據技術應用一直走在其它行業前面，它們在以數據湖、融合數倉、湖內數倉（Data LakeHouse ...
原文：數據湖構建與計算
簡介： 雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來 數據湖構建與計算 的分享。本文主要從數據的入湖和管理 引擎的選擇展開介紹了數據湖方案降本增效的特性。 摘要： 雲棲大會雲原生企業級數據湖專場，阿里雲智能高級產品專家李冰為我們帶來 數據湖構建與計算 的分享。 本文主要從數據的入湖和管理 引擎的選擇展開分享了數據湖方案降本增效的特性。 以下是精彩視頻內容整理： 一 面臨的 ...
2021-11-05 15:33 0 96 推薦指數：
相關推薦
使用Apache Spark和Apache Hudi構建分析數據湖
1. 引入 大多數現代數據湖都是基於某種分布式文件系統（DFS），如HDFS或基於雲的存儲，如AWS S3構建的。遵循的基本原則之一是文件的“一次寫入多次讀取”訪問模型。這對於處理海量數據非常有用，如數百GB到TB的數據。 但是在構建分析數據湖時，更新數據並不罕見。根據不同場景，這些更新頻率 ...
字節跳動基於Apache Hudi構建EB級數據湖實踐
來自字節跳動的管梓越同學一篇關於Apache Hudi在字節跳動推薦系統中EB級數據量實踐的分享。 接下來將分為場景需求、設計選型、功能支持、性能調優、未來展望五部分介紹Hudi在字節跳動推薦系統中的實踐。 在推薦系統中，我們在兩個場景下使用數據湖 我們使用 ...
基於Apache Hudi構建數據湖的典型應用場景介紹
1. 傳統數據湖存在的問題與挑戰 傳統數據湖解決方案中，常用Hive來構建T+1級別的數據倉庫，通過HDFS存儲實現海量數據的存儲與水平擴容，通過Hive實現元數據的管理以及數據操作的SQL化。雖然能夠在海量批處理場景中取得不錯的效果，但依然存在如下現狀問題： 問題一：不支持事務 由於傳統 ...
Apache Hudi 在 B 站構建實時數據湖的實踐
簡介： B 站選擇 Flink + Hudi 的數據湖技術方案，以及針對其做出的優化。 本文作者喻兆靖，介紹了為什么 B 站選擇 Flink + Hudi 的數據湖技術方案，以及針對其做出的優化。主要內容為： 傳統離線數倉痛點 數據湖技術方案 Hudi 任務穩定性 ...
Uber基於Apache Hudi構建PB級數據湖實踐
1. 引言 從確保准確預計到達時間到預測最佳交通路線，在Uber平台上提供安全、無縫的運輸和交付體驗需要可靠、高性能的大規模數據存儲和分析。2016年，Uber開發了增量處理框架Apache Hudi，以低延遲和高效率為關鍵業務數據管道賦能。一年后，我們開源了該解決方案，以使得其他有需要的組織 ...
構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（下）
相較傳統的重量級OLAP數據倉庫，“數據湖”以其數據體量大、綜合成本低、支持非結構化數據、查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 作為微軟Azure上最新一代的數據湖服務，Data Lake Storage Gen2的發布，將雲上數據湖的能力和體驗 ...
構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（中）
引言 相較傳統的重量級OLAP數據倉庫，“數據湖”以其數據體量大、綜合成本低、支持非結構化數據、查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 因此數據湖相關服務成為了雲計算的發展重點之一。Azure平台早年就曾發布第一代Data Lake Storage ...