[Spark内核] 第34课：Stage划分和Task最佳位置算法源码彻底解密
本課主題 Job Stage 划分算法解密 Task 最佳位置算法實現解密 引言 作业调度的划分算法以及 Task 的最佳位置的算法，因为 Stage 的划分是DAGScheduler 工作的核心，这也是关系到整个作业有集群中该怎么运行；其次就是数据本地性，Spark ...
原文：[Spark内核] 第29课：Master HA彻底解密
本课主题 Master HA 解析 Master HA 解析源码分享 引言部份：你希望读者看完这篇博客后有那些启发 学到什么样的知识点 更新中...... Master HA 解析 生产环境下一般采用 ZooKeeper 做 HA，且建义为 台 Master, ZooKeeper 会自动管理 Master 的切换 采用 ZooKeeper 做 HA 的时候，ZooKeeper 会负责保存整个 Sp ...
2017-02-22 10:53 0 1325 推荐指数：
相关推荐
[Spark内核] 第40课：CacheManager彻底解密：CacheManager运行原理流程图和源码详解
本课主题 CacheManager 运行原理图 CacheManager 源码解析 CacheManager 运行原理图 [下图是CacheManager的运行原理图] ...
[Spark内核] 第28课：Spark天堂之门解密
本課主題 什么是 Spark 的天堂之门 Spark 天堂之门到底在那里 Spark 天堂之门源码鉴赏 引言 我说的 Spark 天堂之门就是SparkContext，这篇文章会从 SparkContext 创建3大核心对象 TaskSchedulerImpl ...
[Spark內核] 第41课：Checkpoint彻底解密：Checkpoint的运行原理和源码实现彻底详解
本课主题 Checkpoint 运行原理图 Checkpoint 源码解析 引言 Checkpoint 到底是什么和需要用 Checkpoint 解决什么问题： Spark 在生产环境下经常会面临 Transformation 的 RDD 非常多(例如一个Job ...
[Spark内核] 第38课：BlockManager架构原理、运行流程图和源码解密
本课主题 BlockManager 运行實例 BlockManager 原理流程图 BlockManager 源码解析 引言 BlockManager 是管理整个Spark运行时的数据读写的，当然也包含数据存储本身，在这个基础之上进行读写操作，由于 Spark ...
[Spark内核] 第32课：Spark Worker原理和源码剖析解密：Worker工作流程图、Worker启动Driver源码解密、Worker启动Executor源码解密等
本課主題 Spark Worker 原理 Worker 启动 Driver 源码鉴赏 Worker 启动 Executor 源码鉴赏 Worker 与 Master 的交互关系 [引言部份：你希望读者看完这篇博客后有那些启发、学到什么样的知识点] 更新中 ...