Spark學習筆記(4)---Spark作業執行源碼分析
作業執行源碼分析 當我們的代碼執行到了action（行動）操作之后就會觸發作業運行。在Spark調度中最重要的是DAGScheduler和TaskScheduler兩個調度器，其中，DAGScheduler負責任務的邏輯調度， 將作業拆分為不同階段的具有依賴關系的任務集 ...
原文：Spark學習筆記(2)---Spark消息通信源碼分析
Spark消息通信 Spark啟動消息通信 Spark啟動過程中主要是進行Master和Worker之間的通信，其消息發送關系如下，首先由worker節點向Master發送注冊消息，然后Master處理完畢后，返回注冊成功消息或失敗消息。 其詳細過程如下： 當Master啟動后，隨之啟動各Worker，Worker啟動時會創建通信環境RpcEnv和終端點EndPoint，並向Master發送注冊W ...
2017-07-06 13:23 0 1573 推薦指數：
相關推薦
Spark源碼分析之Spark Shell（上）
終於開始看Spark源碼了，先從最常用的spark-shell腳本開始吧。不要覺得一個啟動腳本有什么東東，其實里面還是有很多知識點的。另外，從啟動腳本入手，是尋找代碼入口最簡單的方法，很多開源框架，其實都可以通過這種方式來尋找源碼入口。 先來介紹一下Spark-shell是什么 ...
Spark源碼系列（九）spark源碼分析以及優化
第一章、spark源碼分析之RDD四種依賴關系 一、RDD四種依賴關系 RDD四種依賴關系，分別是 ShuffleDependency、PrunDependency、RangeDependency和OneToOneDependency四種依賴關系。如下圖所示 ...
Spark 源碼分析 -- RDD
關於RDD, 詳細可以參考Spark的論文, 下面看下源碼 A Resilient Distributed Dataset (RDD), the basic abstraction in Spark. Represents an immutable, partitioned collection ...
Spark源碼分析 – BlockManager
參考, Spark源碼分析之-Storage模塊 對於storage, 為何Spark需要storage模塊？為了cache RDD Spark的特點就是可以將RDD cache在memory或disk中，RDD是由partitions組成的，對應於block 所以storage模塊，就是要實現 ...
Spark源碼分析 – SparkEnv
時被創建 SparkEnv Class 用於hold所有Spark運行時的環境對象, ...
Spark源碼分析 – DAGScheduler
DAGScheduler的架構其實非常簡單, 1. eventQueue, 所有需要DAGScheduler處理的事情都需要往eventQueue中發送event 2. eventLoop Thr ...
Spark源碼分析 -- PairRDD
和一般RDD最大的不同就是有兩個泛型參數, [K, V]表示pair的概念 關鍵的function是, combineByKey, 所有pair相關操作的抽象 combine是這樣的操作, Turn ...