引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本很高，需要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同时还需要消耗更多的存储资源。 因此，Spark选择记录更新的方式。但是，如果更新粒度 ...

背景 Write Ahead Logs 配置 实现细节 下面讲解下WAL的工作原理。过一下Spark Streaming的架构 当一个Spark Streaming应用启动了(例如driver启动), 相应 ...

RDD的容错机制　　 　　RDD实现了基于Lineage的容错机制。RDD的转换关系，构成了compute chain，可以把这个compute chain认为是RDD之间演化的Lineage。在部分计算结果丢失时，只需要根据这个Lineage重算即可。　　图1中，假如RDD2 ...

Streaming的容错和数据无丢失机制。 checkPoint机制可保证其容错性。spark中的W ...

一、应用执行机制 一个应用的生命周期即，用户提交自定义的作业之后，Spark框架进行处理的一系列过程。 在这个过程中，不同的时间段里，应用会被拆分为不同的形态来执行。 1、应用执行过程中的基本组件和形态 Driver： 运行在客户端或者集群中，执行Application ...

本文主要简述spark checkpoint机制，快速把握checkpoint机制的来龙去脉,至于源码可以参考我的下一篇文章。 1、Spark core的checkpoint 1）为什么checkpoint？ 分布式计算中难免因为网络，存储等原因出现计算失败的情况，RDD中的lineage ...

Spark工作机制 主要模块 调度与任务分配 I/O模块 通信控制模块 容错模块 Shuffle模块 调度层次 应用 作业 Stage Task 调度算法 FIFO FAIR(公平调度) Spark应用执行机制 总览 ...

虽然默认情况下 RDD 的内容是临时的，但 Spark 提供了在 RDD 中持久化数据的机制。第一次调用动作并计算出 RDD 内容后，RDD 的内容可以存储在集群的内存或磁盘上。这样下一次需要调用依赖该 RDD 的动作时，就不需要从依赖关系中重新计算 RDD，数据可以从缓存分区中直接返回 ...