转载自：https://www.cnblogs.com/itboys/p/9226479.html Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中 ...

Shuffle简介 Shuffle描述着数据从map task输出到reduce task输入的这段过程。shuffle是连接Map和Reduce之间的桥梁，Map的输出要用到Reduce中必须经过shuffle这个环节，shuffle的性能高低直接影响了整个程序的性能和吞吐量。因为在分布式 ...

广播变量 应用场景：在提交作业后，task在执行的过程中， 有一个或多个值需要在计算的过程中多次从Driver端拿取时，此时会必然会发生大量的网络IO， 这时，最好用广播变量的方式，将Driver端的变量的值事先广播到每一个Worker端， 以后再计算过程中只需要从本地拿取该值即可，避免网络IO ...

今天看了一下关于 job 中 stage 的关系时，发现了ResultStage 和 ShuffleMapStage 两个类。这里先介绍一下job、stage、task的关系。 首先 job 的个数取决于 active 行动算子的个数。当流程执行一个 active 行动算子，spark就会 ...

【译】避免使用GroupByKey Scala Spark 技术 by:leotse 原文：Avoid GroupByKey 译文 让我们来看两个wordcount的例子，一个使用 ...

什么是 Bucketing Bucketing 就是利用 buckets（按列进行分桶）来决定数据分区（partition）的一种优化技术，它可以帮助在计算中避免数据交换（avoid data shuffle）。并行计算的时候shuffle常常会耗费非常多的时间和资源. Bucketing ...

官网：http://spark.apache.org/docs/2.3.0/rdd-programming-guide.html#understanding-closures- Spark中一个非常难以理解的概念，就是在集群中分布式并行运行时操作的算子外部的变量的生命周期 通常 ...

写了很简单的一段spark代码，将结果保存为windows本地文件，执行之后总是报错NullPointerException 查询之后 发现是本地缺少hadoop需要的一个文件所致 如果本地已经安装了hadoop 一般不会有此问题 如果不愿安装 可按照下述方法解决 1）下载需要的文件 ...