Apache Hudi + AWS S3 + Athena实战
Apache Hudi在阿里巴巴集团、EMIS Health，LinkNovate，Tathastu.AI，腾讯，Uber内使用，并且由Amazon AWS EMR和Google云平台支持，最近Amazon Athena支持了在Amazon S3上查询Apache Hudi数据集的能力，本博客 ...
原文：官宣！AWS Athena正式可查询Apache Hudi数据集
. 引入 Apache Hudi是一个开源的增量数据处理框架，提供了行级insert update upsert delete的细粒度处理能力 Upsert表示如果数据集中存在记录就更新 否则插入 。 Hudi处理数据插入和更新，不会创建太多的小文件 小文件会导致查询端性能降低 ，Apache Hudi自动管理及合并小文件，让其保持指定大小，这避免了自建解决方案来监控和重写小文件为大文件。 Hu ...
2020-07-27 11:19 0 509 推荐指数：
相关推荐
官宣！ASF官方正式宣布Apache Hudi成为顶级项目
马萨诸塞州韦克菲尔德（Wakefield，MA）- 2020年6月 - Apache软件基金会（ASF）、350多个开源项目和全职开发人员、管理人员和孵化器宣布：Apache Hudi正式成为Apache顶级项目（TLP）。在投票表决Hudi毕业时，Hudi总共获得了19票binding（其中包括 ...
写入Apache Hudi数据集
这一节我们将介绍使用DeltaStreamer工具从外部源甚至其他Hudi数据集摄取新更改的方法， 以及通过使用Hudi数据源的upserts加快大型Spark作业的方法。 对于此类数据集，我们可以使用各种查询引擎查询它们。 写操作 在此之前，了解Hudi数据源及delta streamer ...
实战 | 将Apache Hudi数据集写入阿里云OSS
1. 引入 云上对象存储的廉价让不少公司将其作为主要的存储方案，而Hudi作为数据湖解决方案，支持对象存储也是必不可少。之前AWS EMR已经内置集成Hudi，也意味着可以在S3上无缝使用Hudi。当然国内用户可能更多使用阿里云OSS作为云上存储方案，那么如果用户想基于OSS构建数据湖 ...
官宣｜Apache Flink 1.13.0 正式发布，流处理应用更加简单高效！
简介： Flink 1.13.0 版本让流处理应用的使用像普通应用一样简单和自然，并且让用户可以更好地理解流作业的性能。 翻译 | 高赟Review | 朱翥、马国维 Flink 1. ...
官宣！ElasticJob 3.0.0 版本正式发布
ElasticJob 是面向互联网生态和海量任务的分布式调度解决方案，由两个相互独立的子项目 ElasticJob-Lite 和 ElasticJob-Cloud 组成。它通过弹性调度、资源管控 ...
在AWS Glue中使用Apache Hudi
1. Glue与Hudi简介 AWS Glue AWS Glue是Amazon Web Services(AWS)云平台推出的一款无服务器(Serverless)的大数据分析服务。对于不了解该产品的读者来说，可以用一句话概括其实质：Glue是一个无服务器的全托管的Spark运行环境 ...
数据湖-Apache Hudi
Hudi特性 数据湖处理非结构化数据、日志数据、结构化数据 支持较快upsert/delete, 可插入索引 Table Schema 小文件管理Compaction ACID语义保证,多版本保证 并具有回滚功能 savepoint 用户数据 ...