【Spark2.0源码学习】-1.概述
Spark作为当前主流的分布式计算框架，其高效性、通用性、易用性使其得到广泛的关注，本系列博客不会介绍其原理、安装与使用相关知识，将会从源码角度进行深度分析，理解其背后的设计精髓，以便后续在Spark使用以及设计类似产品提供相关经验，下面开始进入正题 ...
原文：【Spark2.0源码学习】-9.Job提交与Task的拆分
在前面的章节Client的加载中，Spark的DriverRunner已开始执行用户任务类 比如：org.apache.spark.examples.SparkPi ，下面我们开始针对于用户任务类 或者任务代码 进行分析 一 整体预览 基于上篇图做了扩展，增加任务执行的相关交互 Code：指的用户编写的代码 RDD：弹性分布式数据集，用户编码根据SparkContext与RDD的api能够很好的 ...
2017-06-01 10:36 0 2646 推荐指数：
相关推荐
Apache Spark源码走读之2 -- Job的提交与运行
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文以wordCount为例，详细说明spark创建和运行job的过程，重点是在进程及线程的创建。 实验环境搭建 在进行后续操作前，确保下列条件已满足。 下载spark binary 0.9.1 安装scala 安装sbt ...
【Spark2.0源码学习】-3.Endpoint模型介绍
Spark作为分布式计算框架，多个节点的设计与相互通信模式是其重要的组成部分。 一、组件概览 对源码分析，对于设计思路理解如下： RpcEndpoint：RPC端点 ，Spark针对于每个节点 ...
【Spark2.0源码学习】-2.一切从脚本说起
从脚本说起 在看源码之前，我们一般会看相关脚本了解其初始化信息以及Bootstrap类，Spark也不例外，而Spark我们启动三端使用的脚本如下： %SPARK_HOME%/sbin/start-master.sh %SPARK ...
Spark2.0机器学习系列之3：决策树
概述 分类决策树模型是一种描述对实例进行分类的树形结构。 决策树可以看为一个if-then规则集合，具有“互斥完备”性质 。决策树基本上都是 采用的是贪心（即非回溯）的算法，自顶向下递 ...
初识Spark2.0之Spark SQL
内存计算平台Spark在今年6月份的时候正式发布了spark2.0，相比上一版本的spark1.6版本，在内存优化，数据组织，流计算等方面都做出了较大的改变，同时更加注重基于DataFrame数据组织的MLlib，更加注重机器学习整个过程的管道化。 当然，作为使用者，特别是需要运用到线上的系统 ...
spark2.0的10个特性介绍
1. Spark 2.0 ! 还记得我们的第七篇 Spark 博文里吗？里面我用三点来总结 spark dataframe 的好处： 当时是主要介绍 spark 里的 dataframe，今天是想总结一下 spark 2.0 的一些重大更新，准备过段时间［等到 2.0.1 ...
Spark学习笔记1：Application，Driver，Job，Task，Stage理解
看了spark的原始论文和相关资料，对spark中的一些经常用到的术语做了一些梳理，记录下。 1，Application application（应用）其实就是用spark-submit提交的程序。比方说spark examples中的计算pi的SparkPi。一个application通常 ...