RDD有两种类型的操作 ，分别是Transformation（返回一个新的RDD）和Action（返回values）。 1.Transformation：根据已有RDD创建新的RDD数据集build （1）map(func)：对调用map的RDD数据集中的每个element都使用func ...

前言：要学习spark程序开发，建议先学习spark-shell交互式学习，加深对spark程序开发的理解。spark-shell提供了一种学习API的简单方式，以及一个能够进行交互式分析数据的强大工具，可以使用scala编写（scala运行与Java虚拟机可以使用现有的Java库）或使用 ...

今天打开spark-shell 想试试好久不用的命令，想从本地读取数据，然后做一个简单的wordcount。但是就是读取不成功。代码如下： 在做累加的时候就报错了，这里显示要从HDFS上面去读取文件， 但是我想从本地读取文件进行计算。于是找资料，将输入的文件的加上前缀，则计算成功 ...

1.拷贝hive-site.xml到spark/conf下，拷贝mysql-connector-java-xxx-bin.jar到hive/lib下 2.开启hive元数据服务：hive --service metastore 3.开启hadoop服务：sh $HADOOP_HOME ...

数据库也是 spark 数据源创建 df 的一种方式，因为比较重要，所以单独算一节。 本文以 postgres 为例 安装 JDBC 首先需要 安装 postgres 的客户端驱动，即 JDBC 驱动，这是官方下载地址，JDBC，根据数据库版本下载对应的驱动 上传至 spark 目录 ...

终于开始看Spark源码了，先从最常用的spark-shell脚本开始吧。不要觉得一个启动脚本有什么东东，其实里面还是有很多知识点的。另外，从启动脚本入手，是寻找代码入口最简单的方法，很多开源框架，其实都可以通过这种方式来寻找源码入口。 先来介绍一下Spark-shell是什么 ...

基础 Spark的shell作为一个强大的交互式数据分析工具，提供了一个简单的方式学习API。它可以使用Scala(在Java虚拟机上运行现有的Java库的一个很好方式)或Python。在Spark目录里使用下面的方式开始运行： [plain ...

前言 　　离线安装好CDH、Coudera Manager之后，通过Coudera Manager安装所有自带的应用，包括hdfs、hive、yarn、spark、hbase等应用，过程很是波折，此处就不抱怨了，直接进入主题。 描述 　　在安装有spark的节点上，通过spark-shell ...