Flink 1.14 新特性预览
简介： 一文了解 Flink 1.14 版本新特性及最新进展 本文由社区志愿者陈政羽整理，内容源自阿里巴巴技术专家宋辛童 (五藏) 在 8 月 7 日线上 Flink Meetup 分享的《Flink 1.14 新特性预览》。主要内容为： 简介 流批一体 ...
原文：HUDI-0.11.0 BUCKET index on Flink 新特性试用
.背景 在 . . 版本下，用默认的index FLINK STATE ，在upsert的模式下，几十亿级别的数据更新会很消耗内存以及ckp时过长，因此切换到 . . 的BUCKET索引 仅对于当前环境：flink . . hudi . . master . . cow hdfs 关键配置项： index.type BUCKET ， hoodie.bucket.index.num.buckets ...
2022-04-07 21:03 3 1162 推荐指数：
相关推荐
MySQL 5.6新特性 -- Index Condition Pushdown
Index Condition Pushdown(ICP)是针对mysql使用索引从表中检索行数据时的一种优化方法。 在没有ICP特性之前，存储引擎根据索引去基表查找并将数据返回给mysql server，mysql server再根据where条件进行数据过滤 ...
Flink SQL 写 hudi
# Flink SQL 写 hudi 最近在做一个数据湖项目，基于 Hudi 的湖仓一体项目，计算引擎是 Flink + Spark 之前稍稍研究了一下数据湖的三个主要技术组件 IceBerg，以为可能会用，在网上看资料的时候，同样也发现，IceBerg 对 Flink 比较亲和，Hudi ...
Minio Bucket 通知试用&&说明
kafka 安装 minio (mac local) config minio notify 路径 ~/.minio/config.json 下载client 并配置minio server 创建bucket 并启用 ...
Hudi-集成Flink(Flink操作hudi表)
一、安装部署Flink 1.12 Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规模来执行计算。 1.准备tar包 ...
Hudi on Flink在顺丰的实践应用
获取PDF版本 请关注“实时流式计算” 后台回复 “flink1015” ...
Apache Hudi与Apache Flink集成
感谢王祥虎@wangxianghu 投稿 Apache Hudi是由Uber开发并开源的数据湖框架，它于2019年1月进入Apache孵化器孵化，次年5月份顺利毕业晋升为Apache顶级项目。是当前最为热门的数据湖框架之一。 1. 为何要解耦 Hudi自诞生至今一直使用Spark ...
大数据开发-Flink-1.13新特性
介绍 大概4月，Flink1.13就发布了，参加 了Flink1.13 的Meetup，收获还是挺多，从大的方面讲就是FlingSql的改进和优化，资源调度管理方面的优化，以及流批一体Flink在运行时与DataStream API的优化，另外就是State backend 模块的优化，本篇 ...