Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
原文：Spark 源碼分析系列
如下，是 spark 相關系列的一些文章匯總，持續更新中...... Spark RPC spark 源碼分析之五 Spark RPC剖析之創建NettyRpcEnv spark 源碼分析之六 Spark RPC剖析之Dispatcher和Inbox Outbox剖析 spark 源碼分析之七 Spark RPC剖析之RpcEndPoint和RpcEndPointRef剖析 spark 源碼分析之 ...
2019-07-28 16:58 0 1524 推薦指數：
相關推薦
Spark源碼分析系列（目錄）
記錄自己學習研究 Spark 的探索過程，為后續總結奠定基礎。 本文代碼研究以 Spark 2.3.0 源代碼為基准，如果看本文，請閱讀時，下載對應的 Spark 版本。 圖1 伯克利的數據分析軟件棧BDAS（Berkeley Data Analytics Stack） 這里要先說 ...
Spark源碼分析之Spark Shell（上）
終於開始看Spark源碼了，先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東，其實里面還是有很多知識點的。另外，從啟動腳本入手，是尋找代碼入口最簡單的方法，很多開源框架，其實都可以通過這種方式來尋找源碼入口。 先來介紹一下Spark-shell是什么 ...
Spark源碼分析 – Checkpoint
CP的步驟 1. 首先如果RDD需要CP, 調用RDD.checkpoint()來mark 注釋說了, 這個需要在Job被執行前被mark, 原因后面看, 並且最好選擇persist這個RDD, ...
Spark源碼分析 – SparkContext
Spark源碼分析之-scheduler模塊 這位寫的非常好, 讓我對Spark的源碼分析, 變的輕松了許多 這里自己再梳理一遍 先看一個簡單的spark操作, 1. SparkContext 這是Spark的入口, 任何需要使用Spark的地方都需要先創建 ...
Spark源碼分析 – Shuffle
參考詳細探究Spark的shuffle實現, 寫的很清楚, 當前設計的來龍去脈 Hadoop Hadoop的思路是, 在mapper端每次當memory buffer中的數據快滿的時候, 先將memory中的數據, 按partition進行划分, 然后各自存成小文件, 這樣當buffer ...
Spark 源碼分析 -- RDD
關於RDD, 詳細可以參考Spark的論文, 下面看下源碼 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection ...
Spark源碼分析 – BlockManager
參考, Spark源碼分析之-Storage模塊 對於storage, 為何Spark需要storage模塊？為了cache RDD Spark的特點就是可以將RDD cache在memory或disk中，RDD是由partitions組成的，對應於block 所以storage模塊，就是要實現 ...