spark 源碼分析之十五 -- Spark內存管理剖析
本篇文章主要剖析Spark的內存管理體系。 在上篇文章 spark 源碼分析之十四 -- broadcast 是如何實現的？中對存儲相關的內容沒有做過多的剖析，下面計划先剖析Spark的內存機制，進而進入內存存儲，最后再剖析磁盤存儲。本篇文章主要剖析內存管理機制。 整體介紹 Spark內存 ...
原文：spark 源碼分析之十六 -- Spark內存存儲剖析
上篇spark 源碼分析之十五 Spark內存管理剖析講解了Spark的內存管理機制，主要是MemoryManager的內容。跟Spark的內存管理機制最密切相關的就是內存存儲，本篇文章主要介紹Spark內存存儲。 總述 跟內存存儲的相關類的關系如下： MemoryStore是負責內存存儲的類，其依賴於BlockManager SerializerManager BlockInfoManager ...
2019-07-18 21:49 0 515 推薦指數：
相關推薦
spark 源碼分析之十七 -- Spark磁盤存儲剖析
上篇文章 spark 源碼分析之十六 -- Spark內存存儲剖析 主要剖析了Spark 的內存存儲。本篇文章主要剖析磁盤存儲。 總述 磁盤存儲相對比較簡單，相關的類關系圖如下： 我們先從依賴類 DiskBlockManager 剖析 ...
spark 源碼分析之十八 -- Spark存儲體系剖析
集群各個節點的底層通信環境，可以參照文章 spark 源碼分析之十二--Spark RPC剖析之Spa ...
spark 源碼分析之七--Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析
RpcEndpoint 文檔對RpcEndpoint的解釋：An end point for the RPC that defines what functions to trigger given ...
spark 源碼分析之十三 -- SerializerManager剖析
對SerializerManager的說明： 它是為各種Spark組件配置序列化，壓縮和加密的組件，包括自動選擇用於shuffle的Serializer。spark中的數據在network IO 或 local disk IO傳輸過程中。都需要序列化。其默認的 Serializer ...
spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv
在前面源碼剖析介紹中，spark 源碼分析之二 -- SparkContext 的初始化過程 中的SparkEnv和 spark 源碼分析之四 -- TaskScheduler的創建和啟動過程 中的ClientApp啟動過程中，都涉及到了Spark的內置RPC的知識。本篇專門把RPC 拿出來剖析 ...
Spark源碼分析之Spark Shell（上）
終於開始看Spark源碼了，先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東，其實里面還是有很多知識點的。另外，從啟動腳本入手，是尋找代碼入口最簡單的方法，很多開源框架，其實都可以通過這種方式來尋找源碼入口。 先來介紹一下Spark-shell是什么 ...
Spark源碼剖析 - 計算引擎
本章導讀 RDD作為Spark對各種數據計算模型的統一抽象，被用於迭代計算過程以及任務輸出結果的緩存讀寫。在所有MapReduce框架中，shuffle是連接map任務和reduce任務的橋梁。map任務的中間輸出要作為reduce任務的輸入，就必須經過shuffle，shuffle的性能優劣 ...