【Spark学习】Apache Spark作业调度机制
Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4135905.html 目录 概述 不同应用程序间的资源调度 同一应用程序内的资源调度 ...
原文：【Spark学习】Apache Spark安全机制
Spark版本： . . 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http: www.cnblogs.com zhangningbo p .html 目录 Web UI 事件日志 网络安全 配置端口 仅适用于Standalone模式的端口 适用于所有集群管理器的通用端口 现在，Spark支持通过共享秘钥进行认证。启用认证功能可以通过参数spark.authenticate来 ...
2014-12-01 19:33 0 4071 推荐指数：
相关推荐
【Spark学习】Apache Spark配置
Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4137969.html Spark配置 Spark属性 动态加载Spark属性 查看 ...
Spark（四） -- Spark工作机制
一、应用执行机制 一个应用的生命周期即，用户提交自定义的作业之后，Spark框架进行处理的一系列过程。 在这个过程中，不同的时间段里，应用会被拆分为不同的形态来执行。 1、应用执行过程中的基本组件和形态 Driver： 运行在客户端或者集群中，执行Application ...
【Spark】Spark容错机制
引入 一般来说，分布式数据集的容错性有两种方式：数据检查点和记录数据的更新。 面向大规模数据分析，数据检查点操作成本非常高，须要通过数据中心的网络连接在机器之间复制庞大的数据集，而网络带宽往往比内存带宽低得多，同一时候还须要消耗很多其它的存储资源。 因此，Spark选择 ...
【Spark学习】Apache Spark集群硬件配置要求
Spark版本：1.1.1 本文系从官方文档翻译而来，转载请尊重译者的工作，注明以下链接： http://www.cnblogs.com/zhangningbo/p/4135912.html 目录 存储系统 本地磁盘 内存 网络 CPU核数 ...
Spark 学习（六） Spark 的线程安全和序列化问题
一，必备知识 1.1 经典14问 1.2 问题前提 二，序列化问题 2.1 Spark序列化出现情况 2.2 Spark序列化问题解决 三，线程安全问题 3.1 Spark线程安全出现情况 3.2 Spark线程安全问题解决 正文 ...
Spark学习之Spark Core
Spark Core 一、什么是Spark？（官网：http://spark.apache.org） 1、什么是Spark？ 我的翻译：Spark是一个针对大规模数据处理的快速通用引擎。 Spark是一种快速、通用、可扩展的大数据分析引擎，2009年诞生于加州大学 ...
Spark学习之Spark SQL
Spark SQL 一、Spark SQL基础 1、Spark SQL简介 Spark SQL是Spark用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。http://spark.apache.org/sql/ 为什么要学习 ...