原文:【詳談 Delta Lake 】系列技術專題 之 Streaming(流式計算)

簡介: 本文翻譯自大數據技術公司 Databricks 針對數據湖 Delta Lake 的系列技術文章。眾所周知,Databricks 主導着開源大數據社區 Apache Spark Delta Lake 以及 ML Flow 等眾多熱門技術,而 Delta Lake 作為數據湖核心存儲引擎方案給企業帶來諸多的優勢。本系列技術文章,將詳細展開介紹 Delta Lake。 前言 本文翻譯自大數據 ...

2021-07-06 17:16 0 170 推薦指數:

查看詳情

詳談 Delta Lake系列技術專題 之 湖倉一體( Lakehouse )

簡介: 本文翻譯自大數據技術公司 Databricks 針對數據湖 Delta Lake系列技術文章。眾所周知,Databricks 主導着開源大數據社區 Apache Spark、Delta Lake 以及 ML Flow 等眾多熱門技術,而 Delta Lake 作為數據湖核心存儲引擎 ...

Mon Jul 05 19:22:00 CST 2021 0 216
Delta Lake

Delta Lake 目錄 Delta Lake 重點問題 什么是 Delta Lake Delta Lake 基本功能 使用Delta Lake構建分析管道 Delta Lake 高級功能 QA ...

Sat Aug 29 07:29:00 CST 2020 0 742
Delta Lake源碼分析

目錄 Delta Lake源碼分析 Delta Lake元數據 snapshot生成 日志提交 沖突檢測(並發控制) delete update merge Delta Lake源碼分析 ...

Fri Dec 27 23:35:00 CST 2019 0 835
spark streaming流式計算---監聽器

隨着對spark的了解,有時會覺得spark就像一個寶盒一樣時不時會出現一些難以置信的新功能。每一個新功能被挖掘,就可以使開發過程變得更加便利一點。甚至使很多不可能完成或者完成起來比較復雜的操作 ...

Mon Jul 01 06:12:00 CST 2019 0 623
Kudu、Hudi和Delta Lake的比較

目錄 Kudu、Hudi和Delta Lake的比較 存儲機制 讀數據 更新數據 其他 如何選擇合適的存儲方案 Kudu、Hudi和Delta Lake的比較 kudu、hudi和delta lake ...

Mon Jan 06 03:58:00 CST 2020 0 6639
Delta Lake在Soul的應用實踐

的數據湖架構,基於阿里雲EMR的Delta Lake,我們進一步打造優化實時數倉結構,提升部分業務指標實 ...

Tue Mar 02 19:01:00 CST 2021 0 265
Delta Lake基礎操作和原理

目錄 Delta Lake 特性 maven依賴 使用aws s3文件系統快速啟動 基礎表操作 merge操作 delta lake更改現有數據的具體過程 delta表schema 事務日志 ...

Thu Dec 26 22:18:00 CST 2019 0 2808
Delta Lake基礎操作和原理

Delta Lake 特性 支持ACID事務 可擴展的元數據處理 統一的流、批處理API接口 更新、刪除數據,實時讀寫(讀是讀當前的最新快照) 數據版本控制,根據需要查看歷史數據快照,可回滾數據 自動處理schema變化,可修改表結構 maven依賴 ...

Tue Apr 21 18:13:00 CST 2020 0 2003
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM