原文:Delta Lake源码分析

目录 Delta Lake源码分析 Delta Lake元数据 snapshot生成 日志提交 冲突检测 并发控制 delete update merge Delta Lake源码分析 本文主要从代码的具体实现方面进行讲解,关于delta lake的事务日志原理,可以看这篇博客,讲解的很详细。 https: mp.weixin.qq.com s biz MzA MTc NTMwNQ amp mi ...

2019-12-27 15:35 0 835 推荐指数:

查看详情

Delta Lake

Delta Lake 目录 Delta Lake 重点问题 什么是 Delta Lake Delta Lake 基本功能 使用Delta Lake构建分析管道 Delta Lake 高级功能 QA ...

Sat Aug 29 07:29:00 CST 2020 0 742
Kudu、Hudi和Delta Lake的比较

目录 Kudu、Hudi和Delta Lake的比较 存储机制 读数据 更新数据 其他 如何选择合适的存储方案 Kudu、Hudi和Delta Lake的比较 kudu、hudi和delta lake ...

Mon Jan 06 03:58:00 CST 2020 0 6639
Delta Lake在Soul的应用实践

的数据湖架构,基于阿里云EMR的Delta Lake,我们进一步打造优化实时数仓结构,提升部分业务指标实 ...

Tue Mar 02 19:01:00 CST 2021 0 265
Data Lake 三剑客——Delta、Hudi、Iceberg 对比分析

https://developer.aliyun.com/article/744920 简介: 定性上讲,三者均为 Data Lake 的数据存储中间层,其数据管理的功能均是基于一系列的 meta 文件。meta 文件的角色类似于数据库的 catalog/wal,起到 schema 管理 ...

Wed Sep 08 01:12:00 CST 2021 0 256
(转)Delta3D源码分析

最近学习Delta3D, 2.4版忙着发布,一直不能成功编译SimCore, 索性静下心来看看源码,官网上竟然提供了几个重要组建的软件设计说明书(SDD),虽说基本都是2005版了,不过我看了后觉得主要构架仍然没有改变, 这几份SDD对于学习Delta3D具有很好的参考价值。分析源码要从顶层着手 ...

Mon Nov 17 22:20:00 CST 2014 0 2766
Delta Lake基础操作和原理

目录 Delta Lake 特性 maven依赖 使用aws s3文件系统快速启动 基础表操作 merge操作 delta lake更改现有数据的具体过程 delta表schema 事务日志 ...

Thu Dec 26 22:18:00 CST 2019 0 2808
Delta Lake基础操作和原理

Delta Lake 特性 支持ACID事务 可扩展的元数据处理 统一的流、批处理API接口 更新、删除数据,实时读写(读是读当前的最新快照) 数据版本控制,根据需要查看历史数据快照,可回滚数据 自动处理schema变化,可修改表结构 maven依赖 ...

Tue Apr 21 18:13:00 CST 2020 0 2003
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM