前言 在前三篇文章中，spark 源码分析之十九 -- DAG的生成和Stage的划分 剖析了DAG的构建和Stage的划分，spark 源码分析之二十 -- Stage的提交 剖析了TaskSet任务的提交，以及spark 源码分析之二十一 -- Task的执行细节剖析了Task执行的整个流程 ...

源文件放在github，随着理解的深入，不断更新，如有谬误之处，欢迎指正。原文链接https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/sort-shuffle.md 正如你所知，spark实现了多种shuffle方法 ...

1、spark shuffle：spark 的 shuffle 主要发生在 DAG 视图中的 stage 和 stage 之间，也就是RDD之间是宽依赖的时候，会发生 shuffle。 补充：spark shuffle在很多地方也会参照mapreduce一样，将它分成两个阶段map阶段 ...

介绍 不论MapReduce还是RDD，shuffle都是非常重要的一环，也是影响整个程序执行效率的主要环节，但是在这两个编程模型里面shuffle却有很大的异同。 shuffle的目的是对数据进行混洗，将各个节点的同一类数据汇集到某一个节点进行计算，为了就是分布式计算 ...

前言 再上一篇文章 spark shuffle的写操作之准备工作 中，主要介绍了 spark shuffle的准备工作，本篇文章主要介绍spark shuffle使用BypassMergeSortShuffleWriter写数据详细细节。 在本篇文章中如果有不了解的术语，也可以参照 spark ...

提出问题 1. spark shuffle的预聚合操作是如何做的，其中底层的数据结构是什么？在数据写入到内存中有预聚合，在读溢出文件合并到最终的文件时是否也有预聚合操作？ 2. shuffle数据的排序是如何做的？ 分区内的数据是否是有序的？若有序，spark 内部是按照什么排序算法来排序 ...

摘要： 1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作 ...

1 shuffle原理 　　1.1 mapreduce的shuffle原理 　　　　1.1.1 map task端操作 　　　　1.1.2 reduce task端操作 　　 1.2 spark现在的SortShuffleManager 2 Shuffle操作问题解决 ...