flink入门到实战（2）flink优化总结
一、高性能Flink SQL优化技巧 1、Group Aggregate优化技巧 开启MicroBatch或MiniBatch（提升吞吐） MicroBatch和MiniBatch都是微批处理，只是微批的触发机制略有不同。原理同样是缓存一定的数据后再触发处理，以减少对State的访问 ...
原文：京东：Flink SQL 优化实战
简介：本文着重从 shuffle join 方式的选择 对象重用 UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施。 本文作者为京东算法服务部的张颖和段学浩，并由 Apache Hive PMC，阿里巴巴技术专家李锐帮忙校对。主要内容为： 背景 Flink SQL 的优化 总结 一 背景 目前，京东搜索推荐的数据处理流程如上图所示。可以看到实时和离线是分开的，离线数据处理大 ...
2021-08-11 10:16 0 141 推荐指数：
相关推荐
Flink SQL Client综合实战
Client的基本功能，今天来通过实战更深入学习和体验Flink SQL； 实战内容 本次实战主要是通过 ...
批量SQL优化实战
有时在工作中，我们需要将大量的数据持久化到数据库中，如果数据量很大的话直接插入的执行速度非常慢，并且由于插入操作也没有太多能够进行sql优化的地方，所以只能从程序代码的角度进行优化。所以本文将尝试使用几种不同方式对插入操作进行优化，看看如何能够最大程度的缩短SQL执行时间。 以插入1000条数 ...
Flink实战之Flink SQL connector支持并行度配置
https://blog.csdn.net/weixin_41608066/article/details/108557869?utm_medium=distribute.pc_relevant ...
Flink实战(六) - Table API & SQL编程
1 意义 1.1 分层的 APIs & 抽象层次 Flink提供三层API。 每个API在简洁性和表达性之间提供不同的权衡，并针对不同的用例。 而且Flink提供不同级别的抽象来开发流/批处理应用程序 最低级抽象只提供有状态流。它通过Process Function ...
Flink原理、实战与性能优化读书笔记
第一章 ApacheFlink介绍 一、Flink优势 二、Flink的应用场景 三、Flink基本组件栈 第二章 Flink环境准备 一、运行环境要求 二、Flink项目模板 Notes: Maveny依赖要注意scope改为 ...
Flink&Blink【编程模型、核心概念、SQL代码实战】
一.Flink新特性 1.支持Scala2.12 2.对SQL功能进行完善 a.Streaming SQL新增Temporal Tables【时态表】 时态表：时态表记录了数据改变的历史状态，该表可以返回特定时间点的表的内容。 b.Streaming ...