京东：Flink SQL 优化实战
简介： 本文着重从 shuffle、join 方式的选择、对象重用、UDF 重用等方面介绍了京东在 Flink SQL 任务方面做的优化措施。 本文作者为京东算法服务部的张颖和段学浩，并由 Apache Hive PMC，阿里巴巴技术专家李锐帮忙校对。主要内容 ...
原文：批量SQL优化实战
有时在工作中，我们需要将大量的数据持久化到数据库中，如果数据量很大的话直接插入的执行速度非常慢，并且由于插入操作也没有太多能够进行sql优化的地方，所以只能从程序代码的角度进行优化。所以本文将尝试使用几种不同方式对插入操作进行优化，看看如何能够最大程度的缩短SQL执行时间。 以插入 条数据为例，首先进行数据准备，用于插入数据库测试： 直接插入 首先测试直接插入 条数据： 执行时间如下： mybat ...
2021-04-07 09:02 0 257 推荐指数：
相关推荐
SQL优化之多表关联批量更新
1、背景 清洗表cookie_clean_t的数据分配清洗，清洗成功的结果记录在成功表cookie_short_succ_t中，间隔10分钟根据成功表cookie_short_succ_t的数据更新 ...
MySQL批量SQL插入各种性能优化
对于一些数据量较大的系统。数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个小时或十几个小时之久。因此。优化数据库插入性能是非常有意义的。 经过对MySQL innodb的一些性能測试，发现一些能够提高insert效率 ...
Spark SQL入门到实战之（8）数据倾斜优化
1.自定义UDF 1、依赖 2、添加随机前缀 3、去除随机前缀 2.数据流程 不使用随机前缀的流程 使用随机前缀的流程 ...
mysql的慢查询实战+sql优化
背景：使用A电脑安装mysql,B电脑通过xshell方式连接，数据内容我都已经创建好，现在我已正常的进入到mysql中 步骤1：设置慢查询日志的超时时间，先查看日志存放路径查询慢日志的地址， ...
MySQL--------SQL优化审核工具实战
1. 背景 SQLAdvisor是由美团点评公司技术工程部DBA团队（北京）开发维护的一个分析SQL给出索引优化建议的工具。它基于MySQL原生态词法解析，结合分析SQL中的where条件、聚合条件、多表Join关系 给出索引优化建议。目前SQLAdvisor在美团点评内部广泛应用 ...
Hive使用Calcite CBO优化流程及SQL优化实战
目录 Hive SQL执行流程 Hive debug简单介绍 Hive SQL执行流程 Hive 使用Calcite优化 Hive Calcite优化流程 Hive Calcite使用细则 ...
Django进阶之查询优化、extra注入SQL及批量创建
Django查询优化 Django的查询优化用到两个函数——select_related()和prefetch_related()。 select_related()用的是连表join的方式，主要处理一对一和一对多情况下的优化查询 prefetch_related()用的方式 ...