一、Hive 执行过程实例分析 1、join 对于 join 操作：SELECT pv.pageid, u.age FROM page_view pv JOIN user u ON (pv.userid = u.userid); 执行的最后结果条数： page_view 表中 ...

,min 等 UDAF，不怕数据倾斜问题，hadoop 在 map 端的汇总合并优化，使 数据倾斜不成问题 ...

hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000 ...

1.概述 离线数据处理生态系统包含许多关键任务，最大限度的提高数据管道基础设施的稳定性和效率是至关重要的。这边博客将分享Hive和Spark分区的各种策略，以最大限度的提高数据工程生态系统的稳定性和效率。 2.内容 大多数Spark Job可以通过三个阶段来表述，即读取输入数据、使用 ...

飞桨（PaddlePaddle）为用户提供技术领先、简单易用、兼顾显存回收与复用的显存优化策略，在Transformer、BERT、DeepLab V3+上Max Batch Size性能优于对标开源框架，在YOLOv3、Mask-RCNN模型上显存性能与对标开源框架持平，有兴趣的同学可以试一下 ...

ElasticSearch性能优化主要分为4个方面的优化。 一、服务器部署 二、服务器配置 三、数据结构优化 四、运行期优化 一、服务器部署 1、增加1-2台服务器，用于负载均衡节点 elasticSearch的配置文件中有2个参数：node.master和node.data ...

常用算法设计和优化策略 下面是紫书上讲的常用算法设计策略和优化策略： 分治法：将问题分成相同的独立子问题求解。在普通的分治之外，还有一种cdq分治（陈丹琦分治），思想是处理左边区间到右边区间的影响，归并算一个例子。 动态规划 第一种用法 本质是：对于一个问题 ...

一个成熟的数据库架构并不是一开始设计就具备高可用、高伸缩等特性的，它是随着用户量的增加，基础架构才逐渐完善。这篇博文主要谈MySQL数据库发展周期中所面临的问题及优化方案，暂且抛开前端应用不说，大致分为以下五个阶段： 1、数据库表设计 项目立项后，开发部根据产品部需求开发项目，开发工程师工作 ...