spark 源碼分析之七--Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析
RpcEndpoint 文檔對RpcEndpoint的解釋：An end point for the RPC that defines what functions to trigger given a message. It is guaranteed that onStart ...
原文：spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv
在前面源碼剖析介紹中，spark 源碼分析之二 SparkContext 的初始化過程中的SparkEnv和spark 源碼分析之四 TaskScheduler的創建和啟動過程中的ClientApp啟動過程中，都涉及到了Spark的內置RPC的知識。本篇專門把RPC 拿出來剖析一下。 因為RPC 在 Spark 中內容雖然不多，但理清楚還是花費很多精力的，計划每天只剖析一小部分，等剖析完畢，會專門 ...
2019-07-02 22:19 0 526 推薦指數：
相關推薦
Spark RPC框架源碼分析（三）Spark心跳機制分析
一.Spark心跳概述 前面兩節中介紹了Spark RPC的基本知識，以及深入剖析了Spark RPC中一些源碼的實現流程。 具體可以看這里： Spark RPC框架源碼分析（二）運行時序 Spark RPC框架源碼分析（一）簡述 這一節我們來看看一個Spark RPC中 ...
Spark RPC框架源碼分析（一）簡述
一. Spark rpc框架概述 Spark是最近幾年已經算是最為成功的大數據計算框架，那么這次我們就來介紹它內部的一個小點，Spark RPC框架。 在介紹之前，我們需要先說明什么是RPC，引用百度百科： RPC（Remote Procedure Call）—遠程過程調用，它是一種 ...
spark 源碼分析之十三 -- SerializerManager剖析
對SerializerManager的說明： 它是為各種Spark組件配置序列化，壓縮和加密的組件，包括自動選擇用於shuffle的Serializer。spark中的數據在network IO 或 local disk IO傳輸過程中。都需要序列化。其默認的 Serializer ...
spark 源碼分析之十八 -- Spark存儲體系剖析
集群各個節點的底層通信環境，可以參照文章 spark 源碼分析之十二--Spark RPC剖析之Spa ...
spark 源碼分析之十六 -- Spark內存存儲剖析
上篇spark 源碼分析之十五 -- Spark內存管理剖析 講解了Spark的內存管理機制，主要是MemoryManager的內容。跟Spark的內存管理機制最密切相關的就是內存存儲，本篇文章主要介紹Spark內存存儲。 總述 跟內存存儲的相關類的關系 ...
spark 源碼分析之十五 -- Spark內存管理剖析
本篇文章主要剖析Spark的內存管理體系。 在上篇文章 spark 源碼分析之十四 -- broadcast 是如何實現的？中對存儲相關的內容沒有做過多的剖析，下面計划先剖析Spark的內存機制，進而進入內存存儲，最后再剖析磁盤存儲。本篇文章主要剖析內存管理機制。 整體介紹 Spark內存 ...
spark 源碼分析之十七 -- Spark磁盤存儲剖析
上篇文章 spark 源碼分析之十六 -- Spark內存存儲剖析 主要剖析了Spark 的內存存儲。本篇文章主要剖析磁盤存儲。 總述 磁盤存儲相對比較簡單，相關的類關系圖如下： 我們先從依賴類 DiskBlockManager 剖析 ...