Spark任务提交源码分析
用户端执行 以下是一个以spark on yarn Cluster模式提交命令，本系列文章所有分析都是基于spark on yarn Cluster模式，spark版本：2.4.0 spark-submit是一个shell脚本，其内容如下： spark-submit提交的参数最终都会 ...
原文：通过 spark.files 传入spark任务依赖的文件源码分析
版本：spak . 相关源码：org.apache.spark.SparkContext 在创建spark任务时候，往往会指定一些依赖文件，通常我们可以在spark submit脚本使用 files path to file指定来实现。 但是公司产品的架构是通过livy来调spark任务，livy的实现其实是对spark submit的一个包装，所以如何指定依赖文件归根到底还是在spark这边。既 ...
2019-09-21 16:34 0 489 推荐指数：
相关推荐
Spark源码分析之Spark Shell（上）
终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark-shell是什么 ...
Spark源码分析 – Checkpoint
CP的步骤 1. 首先如果RDD需要CP, 调用RDD.checkpoint()来mark 注释说了, 这个需要在Job被执行前被mark, 原因后面看, 并且最好选择persist这个RDD, 否则在存CP文件时需要重新computeRDD内容 并且当RDD被CP后, 所有 ...
Spark源码分析 – SparkContext
Spark源码分析之-scheduler模块 这位写的非常好, 让我对Spark的源码分析, 变的轻松了许多 这里自己再梳理一遍 先看一个简单的spark操作, 1. SparkContext 这是Spark的入口, 任何需要使用Spark的地方都需要先创建 ...
Spark源码分析 – Shuffle
参考详细探究Spark的shuffle实现, 写的很清楚, 当前设计的来龙去脉 Hadoop Hadoop的思路是, 在mapper端每次当memory buffer中的数据快满的时候, 先将memory中的数据, 按partition进行划分, 然后各自存成小文件, 这样当buffer ...
spark 源码分析之一 -- RDD的四种依赖关系
RDD的四种依赖关系 RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示：org.apache.spark.Dependency有两个一级子类，分别 ...
Spark源码系列（九）spark源码分析以及优化
第一章、spark源码分析之RDD四种依赖关系 一、RDD四种依赖关系 RDD四种依赖关系，分别是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四种依赖关系。如下图所示 ...
Spark源码分析 -- PairRDD
和一般RDD最大的不同就是有两个泛型参数, [K, V]表示pair的概念 关键的function是, combineByKey, 所有pair相关操作的抽象 combine是这样的操作, Turn ...