RpcEndpoint 文档对RpcEndpoint的解释：An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart ...

一.Spark心跳概述 前面两节中介绍了Spark RPC的基本知识，以及深入剖析了Spark RPC中一些源码的实现流程。 具体可以看这里： Spark RPC框架源码分析（二）运行时序 Spark RPC框架源码分析（一）简述 这一节我们来看看一个Spark RPC中 ...

一. Spark rpc框架概述 Spark是最近几年已经算是最为成功的大数据计算框架，那么这次我们就来介绍它内部的一个小点，Spark RPC框架。 在介绍之前，我们需要先说明什么是RPC，引用百度百科： RPC（Remote Procedure Call）—远程过程调用，它是一种 ...

对SerializerManager的说明： 它是为各种Spark组件配置序列化，压缩和加密的组件，包括自动选择用于shuffle的Serializer。spark中的数据在network IO 或 local disk IO传输过程中。都需要序列化。其默认的 Serializer ...

集群各个节点的底层通信环境，可以参照文章 spark 源码分析之十二--Spark RPC剖析之Spa ...

上篇spark 源码分析之十五 -- Spark内存管理剖析 讲解了Spark的内存管理机制，主要是MemoryManager的内容。跟Spark的内存管理机制最密切相关的就是内存存储，本篇文章主要介绍Spark内存存储。 总述 跟内存存储的相关类的关系 ...

本篇文章主要剖析Spark的内存管理体系。 在上篇文章 spark 源码分析之十四 -- broadcast 是如何实现的？中对存储相关的内容没有做过多的剖析，下面计划先剖析Spark的内存机制，进而进入内存存储，最后再剖析磁盘存储。本篇文章主要剖析内存管理机制。 整体介绍 Spark内存 ...

上篇文章 spark 源码分析之十六 -- Spark内存存储剖析 主要剖析了Spark 的内存存储。本篇文章主要剖析磁盘存储。 总述 磁盘存储相对比较简单，相关的类关系图如下： 我们先从依赖类 DiskBlockManager 剖析 ...