一、图 1.1　基本概念 图是由顶点集合(vertex)及顶点间的关系集合（边edge）组成的一种数据结构。 这里的图并非指代数中的图。图可以对事物以及事物之间的关系建模，图可以用来表示自然发生 ...

一、官网介绍 1、什么是Spark 官网地址：http://spark.apache.org/ Apache Spark™是用于大规模数据处理的统一分析引擎。 从右侧最后一条新闻看，Spark也用于AI人工智能 spark是一个实现快速通用的集群计算平台。它是由加州大学 ...

一、RDD的概述 1.1　什么是RDD？ RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许 ...

Transformation算子 基本的初始化 java scala 一、map、flatMap、mapParations、mapPartitionsWithInd ...

一、Spark中的基本概念 （1）Application：表示你的应用程序 （2）Driver：表示main()函数，创建SparkContext。由SparkContext负责与ClusterManager通信，进行资源的申请，任务的分配和监控等。程序执行完毕后关闭SparkContext ...

一、分区的概念 　　分区是RDD内部并行计算的一个计算单元，RDD的数据集在逻辑上被划分为多个分片，每一个分片称为分区，分区的格式决定了并行计算的粒度，而每个分区的数值计算都是在一个任务中进行的，因此任务的个数，也是由RDD(准确来说是作业最后一个RDD)的分区数决定。 二、为什么要进行分区 ...

RDD是弹性分布式数据集，通常RDD很大，会被分成多个分区，保存在不同节点上。 那么分区有什么好处呢？ 分区能减少节点之间的通信开销，正确的分区能大大加快程序的执行速度。 我们看个例子 首先我们要了解一个概念，分区并不等同于分块。 分块是我们把全部数据切分成好多块来存储叫做分块 ...

一、JDK的安装 JDK使用root用户安装 1.1　上传安装包并解压 1.2　配置环境变量 1.3　验证Java版本 二、配置配 ...