spark 源碼分析之十六 -- Spark內存存儲剖析
上篇spark 源碼分析之十五 -- Spark內存管理剖析 講解了Spark的內存管理機制，主要是MemoryManager的內容。跟Spark的內存管理機制最密切相關的就是內存存儲，本篇文章主要介紹Spark內存存儲。 總述 跟內存存儲的相關類的關系 ...
原文：spark 源碼分析之十五 -- Spark內存管理剖析
本篇文章主要剖析Spark的內存管理體系。 在上篇文章spark 源碼分析之十四 broadcast 是如何實現的 中對存儲相關的內容沒有做過多的剖析，下面計划先剖析Spark的內存機制，進而進入內存存儲，最后再剖析磁盤存儲。本篇文章主要剖析內存管理機制。 整體介紹 Spark內存管理相關類都在 spark core 模塊的 org.apache.spark.memory 包下。 文檔對這個包的解 ...
2019-07-17 19:57 0 506 推薦指數：
相關推薦
spark 源碼分析之七--Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析
RpcEndpoint 文檔對RpcEndpoint的解釋：An end point for the RPC that defines what functions to trigger given ...
spark 源碼分析之二十二-- Task的內存管理
問題的提出 本篇文章將回答如下問題： 1. spark任務在執行的時候，其內存是如何管理的？ 2. 堆內內存的尋址是如何設計的？是如何避免由於JVM的GC的存在引起的內存地址變化的？其內部的內存緩存池回收機制是如何設計的？ 3. 堆外和堆內內存分別是通過什么來分配的？其數據的偏移量 ...
spark 源碼分析之十三 -- SerializerManager剖析
對SerializerManager的說明： 它是為各種Spark組件配置序列化，壓縮和加密的組件，包括自動選擇用於shuffle的Serializer。spark中的數據在network IO 或 local disk IO傳輸過程中。都需要序列化。其默認的 Serializer ...
spark 源碼分析之十七 -- Spark磁盤存儲剖析
上篇文章 spark 源碼分析之十六 -- Spark內存存儲剖析 主要剖析了Spark 的內存存儲。本篇文章主要剖析磁盤存儲。 總述 磁盤存儲相對比較簡單，相關的類關系圖如下： 我們先從依賴類 DiskBlockManager 剖析 ...
spark 源碼分析之五--Spark RPC剖析之創建NettyRpcEnv
在前面源碼剖析介紹中，spark 源碼分析之二 -- SparkContext 的初始化過程 中的SparkEnv和 spark 源碼分析之四 -- TaskScheduler的創建和啟動過程 中的ClientApp啟動過程中，都涉及到了Spark的內置RPC的知識。本篇專門把RPC 拿出來剖析 ...
spark 源碼分析之十八 -- Spark存儲體系剖析
集群各個節點的底層通信環境，可以參照文章 spark 源碼分析之十二--Spark RPC剖析之Spa ...
Spark（十五）SparkCore的源碼解讀
一、啟動腳本分析 獨立部署模式下，主要由master和slaves組成，master可以利用zk實現高可用性，其driver，work，app等信息可以持久化到zk上；slaves由一台至多台主機構成。Driver通過向Master申請資源獲取運行環境。 啟動master和slaves主要 ...