RowMatrix行矩阵 import org.apache.spark.rdd.RDD import org.apache.spark.mllib.linalg.Vectors import ...

一．Spark2.0的新特性Spark让我们引以为豪的一点就是所创建的API简单、直观、便于使用，Spark 2.0延续了这一传统，并在两个方面凸显了优势：　　1、标准的SQL支持；　　2、数据框（DataFrame）/Dataset （数据集）API的统一。　　在SQL方面，我们已经对Spark ...

Spark分布式执行原理 让代码分布式运行是所有分布式计算框架需要解决的最基本的问题。 Spark是大数据领域中相当火热的计算框架，在大数据分析领域有一统江湖的趋势，网上对于Spark源码分析的文章有很多，但是介绍Spark如何处理代码分布式执行问题的资料少之又少，这也是我撰写文本的目的 ...

Apache Spark是一个开源分布式运算框架，最初是由加州大学柏克莱分校AMPLab所开发。 Hadoop MapReduce的每一步完成必须将数据序列化写到分布式文件系统导致效率大幅降低。Spark尽可能地在内存上存储中间结果， 极大地提高了计算速度。 MapReduce是一路计算的优秀 ...

产生的背景 1）MapReduce有较大的局限性 仅支持Map、Reduce两种语义操作 执行效率低，时间开销大 主要用于大规模离线批处理 不适合迭代计算、交互式计算、实时流处理等场景 2）计算框架种类多，选型难，学习成本高 批处理：MapReduce 流处理：Storm、Flink 交互式计算 ...

一、导读 最近开始学习大数据分析，说到大数据分析，就必须提到Hadoop与Spark。要研究大数据分析，就必须安装这两个软件，特此记录一下安装过程。Hadoop使用V2版本，Hadoop有单机、伪分布式、分布式三种部署方案，这里使用分布式部署方案。而Spark有三种部署方案：Standalone ...

　　Spark大数据平台有使用一段时间了，但大部分都是用于实验而搭建起来用的，搭建过Spark完全分布式，也搭建过用于测试的伪分布式。现在是写一遍随笔，记录一下曾经搭建过的环境，免得以后自己忘记了。也给和初学者以及曾经挖过坑的人用作参考。 　　Hive on Spark是Hive跑在Spark ...

一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本 二、配置配 ...