Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。 Standalone部署的节点组成 介绍Spark的资料中对于RDD ...
原文：Apache Spark源码走读之7 -- Standalone部署方式分析
欢迎转载，转载请注明出处，徽沪一郎。 楔子 在Spark源码走读系列之 中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行讲解。 没有HA的Standalone运行模式 先从比较简单的说起，所谓的没有ha是指master节点没有 ...
2014-05-12 12:09 0 6804 推荐指数：
相关推荐
Apache Spark源码走读之19 -- standalone cluster模式下资源的申请与释放
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文主要讲述在standalone cluster部署模式下，Spark Application在整个运行期间，资源(主要是cpu core和内存)的申请与释放。 构成Standalone cluster部署模式的四大组成部件如下图所示，分别为 ...
Apache Spark源码走读之5 -- DStream处理的容错性分析
欢迎转载，转载请注明出处，徽沪一郎，谢谢。 在流数据的处理过程中，为了保证处理结果的可信度(不能多算，也不能漏算)，需要做到对所有的输入数据有且仅有一次处理。在Spark Streaming的处理机制中，不能多算，比较容易理解。那么它又是如何作到即使数据处理结点被重启，在重启之后这些数据也会被 ...
Apache Spark源码走读之9 -- Spark源码编译
欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...
Apache Spark源码走读之6 -- 存储子系统分析
欢迎转载，转载请注明出处，徽沪一郎。 楔子 Spark计算速度远胜于Hadoop的原因之一就在于中间结果是缓存在内存而不是直接写入到disk，本文尝试分析Spark中存储子系统的构成，并以数据写入和数据读取为例，讲述清楚存储子系统中各部件的交互关系。 存储子系统概览 上图是Spark ...
Apache Spark源码走读之8 -- Spark on Yarn
支持Yarn部署，本文将就Spark如何实现在Yarn平台上的部署作比较详尽的分析。 Spark S ...
Apache Spark支持三种分布式部署方式 standalone、spark on mesos和 spark on YARN区别
链接地址: http://dongxicheng.org/framework-on-yarn/apache-spark-comparing-three-deploying-ways/ Spark On Mesos模式 http://vdisk.weibo.com/s/zm_eIVP-TpyqK ...
Apache Spark源码走读之21 -- WEB UI和Metrics初始化及数据更新过程分析
欢迎转载,转载请注明出处,徽沪一郎. 概要 WEB UI和Metrics子系统为外部观察监测Spark内部运行情况提供了必要的窗口，本文将简略的过一下其内部代码实现。 WEB UI 先上图感受一下spark webui 假设当前已经在本机运行standalone cluster模式,输入 ...