Spark入门实战系列--6.SparkSQL（下）--Spark实战应用
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、运行环境说明 1.1 硬软件环境 l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存 l 虚拟软件：VMware® Workstation 9.0.0 ...
原文：Spark入门实战系列--4.Spark运行架构
注 该系列文章以及使用到安装包 测试数据 可以在 倾情大奉送 Spark入门实战系列 获取 Spark运行架构 . 术语定义 lApplication：Spark Application的概念和Hadoop MapReduce中的类似，指的是用户编写的Spark应用程序，包含了一个Driver 功能的代码和分布在集群中多个节点上运行的Executor代码 lDriver：Spark中的Drive ...
2015-08-19 06:51 11 34945 推荐指数：
相关推荐
倾情大奉送--Spark入门实战系列
这一两年Spark技术很火，自己也凑热闹，反复的试验、研究，有痛苦万分也有欣喜若狂，抽空把这些整理成文章共享给大家。这个系列基本上围绕了Spark生态圈进行介绍，从Spark的简介、编译、部署，再到编程模型、运行架构，最后介绍其组件SparkSQL、Spark Streaming、Spark ...
Spark入门实战系列--7.Spark Streaming（下）--实时流计算Spark Streaming实战
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、实例演示 1.1 流数据模拟器 1.1.1 流数据说明 在实例演示中模拟实际情况，需要源源不断地接入流数据，为了在演示过程中更接近真实环境将定义流数据模拟器。该模拟器主要功能 ...
Spark运行架构
一 Spark与hadoop Hadoop有两个核心模块，分布式存储模块HDFS和分布式计算模块Mapreduce Spark 支持多种编程语言，包括 Java、Python、R 和 Scala，同时 Spark 也支持 Hadoop 的底层存储系统 HDFS，但 Spark 不依赖 ...
Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1.1 运行环境说明 1.1.1 硬软件环境 l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存 l 虚拟软件：VMware® Workstation ...
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具 ...
Spark入门实战系列--2.Spark编译与部署（下）--Spark编译安装
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、编译Spark Spark可以通过SBT和Maven两种方式进行编译，再通过make-distribution.sh脚本生成部署包。SBT编译需要安装git工具，而Maven安装则需要maven ...
Spark入门实战系列--7.Spark Streaming（上）--实时流计算Spark Streaming原理介绍
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、Spark Streaming简介 1.1 概述 Spark Streaming 是Spark核心API的一个扩展，可以实现高吞吐量的、具备容错机制的实时流数据的处理。支持从多种数据源获取数据 ...