Spark学习笔记(2)---Spark消息通信源码分析
Spark消息通信 Spark启动消息通信 Spark启动过程中主要是进行Master和Worker之间的通信，其消息发送关系如下，首先由worker节点向Master发送注册消息，然后Master处理完毕后，返回注册成功消息或失败消息。 其详细过程 ...
原文：Spark学习笔记(4)---Spark作业执行源码分析
作业执行源码分析 当我们的代码执行到了action 行动 操作之后就会触发作业运行。在Spark调度中最重要的是DAGScheduler和TaskScheduler两个调度器，其中，DAGScheduler负责任务的逻辑调度， 将作业拆分为不同阶段的具有依赖关系的任务集。TaskScheduler则负责具体任务的调度执行。 提交作业 WordCount.scala执行到wordSort.colle ...
2017-07-07 15:54 0 3135 推荐指数：
相关推荐
Spark作业执行流程源码解析
本文梳理一下Spark作业执行的流程。 目录 相关概念 概述 源码解析 作业提交 划分&提交调度阶段 生成ResultStage 提交ResultStage 提交任务 ...
Spark 源码分析 -- task实际执行过程
Spark源码分析 – SparkContext 中的例子, 只分析到sc.runJob 那么最终是怎么执行的? 通过DAGScheduler切分成Stage, 封装成taskset, 提交给TaskScheduler, 然后等待调度, 最终到Executor上执行 这是一个 ...
Spark学习（四） -- Spark作业提交
标签（空格分隔）： Spark 作业提交 先回顾一下WordCount的过程： 步骤一：val rawFile = sc.textFile("README.rd") texyFile先生成HadoopRDD --> MappedRDD； 步骤二：val ...
Spark源码分析之Spark Shell（上）
终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark-shell是什么 ...
Spark源码分析 – Checkpoint
CP的步骤 1. 首先如果RDD需要CP, 调用RDD.checkpoint()来mark 注释说了, 这个需要在Job被执行前被mark, 原因后面看, 并且最好选择persist这个RDD, 否则在存CP文件时需要重新computeRDD内容 并且当RDD被CP后, 所有 ...
Spark源码分析 – SparkContext
Spark源码分析之-scheduler模块 这位写的非常好, 让我对Spark的源码分析, 变的轻松了许多 这里自己再梳理一遍 先看一个简单的spark操作, 1. SparkContext 这是Spark的入口, 任何需要使用Spark的地方都需要先创建 ...
Spark源码分析 – Shuffle
参考详细探究Spark的shuffle实现, 写的很清楚, 当前设计的来龙去脉 Hadoop Hadoop的思路是, 在mapper端每次当memory buffer中的数据快满的时候, 先将memory中的数据, 按partition进行划分, 然后各自存成小文件, 这样当buffer ...