map阶段 1.hive.vectorized.execution.enabled 默认false. map方法逐行处理数据，开启之后hive构造一个批量输入的数组，一次处理1万条数据。(数据量不大，或计算不复杂是不是没必要开启？ MapReduce只支持map端向量化执行 ...

Spark优化一则 - 减少Shuffle 看了Spark Summit 2014的A Deeper Understanding of Spark Internals，视频（要科学上网）详细讲解了Spark的工作原理，Slides的45页给原始算法和优化算法。 破砂锅用自己3节点的Spark ...

关于shuffle的过程图。 　　 一：概述shuffle 　　Shuffle是mapreduce的核心，链接map与reduce的中间过程。 　　Mapp负责过滤分发，而reduce则是归并整理，从mapp输出到reduce的输入的这个过程称为shuffle过程 ...

hive.optimize.cp=true：列裁剪hive.optimize.prunner：分区裁剪hive.limit.optimize.enable=true：优化LIMIT n语句hive.limit.row.max.size=1000000 ...

调优概述 大多数Spark作业的性能主要就是消耗在了shuffle环节，因为该环节包含了大量的磁盘IO、序列化、网络数据传输等操作。因此，如果要让作业的性能更上一层楼，就有必要对shuffle过程进行调优。但是也必须提醒大家的是，影响一个Spark作业性能的因素 ...

shuffle是spark中一个很重要的概念，它表示的是上游分区的数据打散到下游分区中。一般来说，shuffle类的算子比如reducebykey会发生shuffle，但是并不是一定会产生。 比如，前面已经经过groupbykey进行分组了，现在再次调用shuffle类算子 ...

5 WAYS TO MAKE YOUR HIVE QUERIES RUN FASTER 今天看了一篇[文章] (http://zh.hortonworks.com/blog/5-ways-make-hive-queries-run-faster/),讲述了优化Hive的5个建议。其中每个建议细说 ...

1. 多表join优化代码结构： select .. from JOINTABLES (A,B,C) WITH KEYS (A.key, B.key, C.key) where .... 关联条件相同多表join会优化成一个job 2. LeftSemi-Join是可以高效实现 ...