spark2.1：flatMap的用法
代码示例： ...
原文：spark2.1：读取hive中存储的多元组（string,double）失败
这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid 主小区信息 ，gridid 归属栅格 ，height 高度 ，rsrp 主小区rsrp ，n objectid 邻区 ，n rsrp 邻小区rsrp 记录中一个主小区对应有多个邻区信息，在分组合并记录时： 先按照objectid,gridid,height进行分组，把所有邻区信息给存储到集合中 基于 的结果之上，按照ob ...
2018-03-24 14:45 0 1319 推荐指数：
相关推荐
spark2.1操作json（save/read）
建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件： ...
从Spark1.6到Spark2.1，Logging该何去何从
大家都知道spark 1.6.0版本比较稳定，也比较流行。 我们项目组也是，最初用的就是这个版本。 这段时间，项目组引入spark 2.1.0版本，我想尝尝鲜。 Pom中刚刚换了dependency马上编译失败了。 首先是在1.6中用的最多的trait ...
spark2.1 自定义累加器的使用
spark2.1 自定义累加器的使用 继承AccumulatorV2类，并复写它的所有方法 package spark import constant.Constant import org.apache.spark.util.AccumulatorV2 import ...
Spark2.1集群安装（standalone模式）
机器部署 准备三台Linux服务器，安装好JDK1.7 下载Spark安装包 上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 解压安装包到指定位置tar -zxvf ...
python的元组存储的实质和多元赋值
python中有一种赋值机制即多元赋值，采用这种方式赋值时，等号两边的对象都是元组并且元组的小括号是可选的。通常形式为 等同于 (x, y, z) = (1, 2, 'a string') 这种赋值类型最经常用到的环境是变量交换，形如 这种交换方式 ...
解决value toDF is not a member of org.apache.spark.rdd.RDD (spark2.1 )
解决上述办法有两点： 1、两个import 需要放在 hiveCtx之后。 val hiveCtx: SparkSession = SparkSession.builder.config ...
spark2.1：使用df.select(when(a===b,1).otherwise(0))替换(case when a==b then 1 else 0 end)
最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代 ...