[Spark內核] 第34課：Stage划分和Task最佳位置算法源碼徹底解密
本課主題 Job Stage 划分算法解密 Task 最佳位置算法實現解密 引言 作業調度的划分算法以及 Task 的最佳位置的算法，因為 Stage 的划分是DAGScheduler 工作的核心，這也是關系到整個作業有集群中該怎么運行；其次就是數據本地性，Spark ...
原文：[Spark內核] 第29課：Master HA徹底解密
本課主題 Master HA 解析 Master HA 解析源碼分享 引言部份：你希望讀者看完這篇博客后有那些啟發 學到什么樣的知識點 更新中...... Master HA 解析 生產環境下一般采用 ZooKeeper 做 HA，且建義為 台 Master, ZooKeeper 會自動管理 Master 的切換 采用 ZooKeeper 做 HA 的時候，ZooKeeper 會負責保存整個 Sp ...
2017-02-22 10:53 0 1325 推薦指數：
相關推薦
[Spark內核] 第40課：CacheManager徹底解密：CacheManager運行原理流程圖和源碼詳解
本課主題 CacheManager 運行原理圖 CacheManager 源碼解析 CacheManager 運行原理圖 [下圖是CacheManager的運行原理圖] ...
[Spark內核] 第28課：Spark天堂之門解密
本課主題 什么是 Spark 的天堂之門 Spark 天堂之門到底在那里 Spark 天堂之門源碼鑒賞 引言 我說的 Spark 天堂之門就是SparkContext，這篇文章會從 SparkContext 創建3大核心對象 TaskSchedulerImpl ...
[Spark內核] 第41課：Checkpoint徹底解密：Checkpoint的運行原理和源碼實現徹底詳解
本課主題 Checkpoint 運行原理圖 Checkpoint 源碼解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解決什么問題： Spark 在生產環境下經常會面臨 Transformation 的 RDD 非常多(例如一個Job ...
[Spark內核] 第38課：BlockManager架構原理、運行流程圖和源碼解密
本課主題 BlockManager 運行實例 BlockManager 原理流程圖 BlockManager 源碼解析 引言 BlockManager 是管理整個Spark運行時的數據讀寫的，當然也包含數據存儲本身，在這個基礎之上進行讀寫操作，由於 Spark ...
[Spark內核] 第32課：Spark Worker原理和源碼剖析解密：Worker工作流程圖、Worker啟動Driver源碼解密、Worker啟動Executor源碼解密等
本課主題 Spark Worker 原理 Worker 啟動 Driver 源碼鑒賞 Worker 啟動 Executor 源碼鑒賞 Worker 與 Master 的交互關系 [引言部份：你希望讀者看完這篇博客后有那些啟發、學到什么樣的知識點] 更新中 ...