Apache Spark源码走读之15 -- Standalone部署模式下的容错性分析
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文就standalone部署方式下的容错性问题做比较细致的分析，主要回答standalone部署方式下的包含哪些主要节点，当某一类节点出现问题时，系统是如何处理的。 Standalone部署的节点组成 介绍Spark的资料中对于RDD ...
原文：Apache Spark源码走读之19 -- standalone cluster模式下资源的申请与释放
欢迎转载，转载请注明出处，徽沪一郎。 概要 本文主要讲述在standalone cluster部署模式下，Spark Application在整个运行期间，资源 主要是cpu core和内存 的申请与释放。 构成Standalone cluster部署模式的四大组成部件如下图所示，分别为Master, worker, executor和driver，它们各自运行于独立的JVM进程。 从资源管理的角 ...
2014-07-21 23:36 0 2758 推荐指数：
相关推荐
Apache Spark源码走读之7 -- Standalone部署方式分析
欢迎转载，转载请注明出处，徽沪一郎。 楔子 在Spark源码走读系列之2中曾经提到Spark能以Standalone的方式来运行cluster，但没有对Application的提交与具体运行流程做详细的分析，本文就这些问题做一个比较详细的分析，并且对在standalone模式下如何实现HA进行 ...
Apache Spark源码走读之9 -- Spark源码编译
欢迎转载，转载请注明出处，徽沪一郎。 概要 本来源码编译没有什么可说的，对于java项目来说，只要会点maven或ant的简单命令，依葫芦画瓢，一下子就ok了。但到了Spark上面，事情似乎不这么简单，按照spark officical document上的来做，总会出现这样或那样的编译 ...
Apache Spark源码走读之8 -- Spark on Yarn
欢迎转载，转载请注明出处，徽沪一郎。 概要 Hadoop2中的Yarn是一个分布式计算资源的管理平台，由于其有极好的模型抽象，非常有可能成为分布式计算资源管理的事实标准。其主要职责将是分布式计算集群的管理，集群中计算资源的管理与分配。 Yarn为应用程序开发提供了比较好的实现标准，Spark ...
指针空间的申请与释放
一、malloc()和free()的基本概念以及基本用法： 1、函数原型及说明： void *malloc(long NumBytes)：该函数分配了NumBytes个字节，并返回了指向这块内存的指针 ...
freeRTOS 的内存申请与释放
经过测试，内存申请和及时释放可以安全使用内存。 但是内存释放的时候，不会让所输入的指针变0，这个需要注意。 xPortGetFreeHeapSize 获取剩余堆大小 pvPortMalloc 申请内存 vPortFree 释放内存 举例： u8 *pin =(u8 ...
Apache Spark源码走读之1 -- Spark论文阅读笔记
欢迎转载，转载请注明出处，徽沪一郎。 楔子 源码阅读是一件非常容易的事，也是一件非常难的事。容易的是代码就在那里，一打开就可以看到。难的是要通过代码明白作者当初为什么要这样设计，设计之初要解决的主要问题是什么。 在对Spark的源码进行具体的走读之前，如果想要快速对Spark的有一个整体性 ...
Apache Spark源码走读之13 -- hiveql on spark实现详解
欢迎转载，转载请注明出处，徽沪一郎 概要 在新近发布的spark 1.0中新加了sql的模块，更为引人注意的是对hive中的hiveql也提供了良好的支持，作为一个源码分析控，了解一下spark是如何完成对hql的支持是一件非常有趣的事情。 Hive简介 Hive的由来 以下部分摘自 ...