Shuffle简介 Shuffle的本意是洗牌、混洗的意思，把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中，Shuffle更像是洗牌的逆过程，指的是将map端的无规则输出按指定的 ...

一、Spark是什么 Spark是一个开源的大数据处理引擎。 二、Spark的主要组件如下图所示： 三、Spark运行时架构 Spark共有三种运行模式：本地模式、集群模式、客户端模式。 生产环境基本都是用集群模式。集群模式需要用到集群管理器，三个核心的集群管理器 ...

　　不多说，直接上干货！ 　　目前Apache Spark支持三种分布式部署方式，分别是standalone、spark on mesos和 spark on YARN，其中，第一种类似于MapReduce 1.0所采用的模式，内部实现了容错性和资源管理，后两种则是未来 ...

1. Spark 程序在运行的时候分为 Driver 和 Executor 两部分； 2. Spark 的程序编写是基于 SparkContext 的，具体来说包含两方面： a) Spark 编程的核心基础 RDD， 是由 SparkContext 来最初创建 b ...

转自：https://github.com/jacksu/utils4s/blob/master/spark-knowledge/md/spark%E5%86%85%E5%AD%98%E6%A6%82%E8%BF%B0.md 1.5以前 spark进程是以JVM进程运行的，可以通过-Xmx ...

Spark Executor 工作原理： 1. 在CoarseGrainedExecutorBackend启动时向Driver注册Executor，其实质是注册ExecutorBackend实例，和Executor实例之间没有直接关系 2. ...

本篇笔记主要说一下Spark到底是个什么东西，了解一下它的基本组成部分，了解一下基本的概念，为之后的学习做铺垫。过于细节的东西并不深究。在实际的操作过程中，才能够更加深刻的理解其内涵。 1、什么是Spark？ Spark是由美国加州伯克利大学的AMP实验室开发的，一款基于内存计算的大数据 ...

1）简述编译程序与翻译程序、汇编程序的联系与区别。 编译原理是将计算机语言转化为可以在计算机硬件上直接运行的机器语言，是翻译语言的一种。　　1、将高级语言变为机器语言，包括两种方法，编译是一种，另一种是解释；　　2、将汇编语言变成机器语言的，叫汇编程序．　　编译: 高级语言 ...