建筑物配置信息： 向hdfs写入json文件： 从hdfs中读取json文件： ...

之一org.apache.spark.Logging 在2.1中变成了org.apache.spark.internal. ...

spark2.1 自定义累加器的使用 继承AccumulatorV2类，并复写它的所有方法 package spark import constant.Constant import org.apache.spark.util.AccumulatorV2 import ...

机器部署 　　准备三台Linux服务器，安装好JDK1.7 下载Spark安装包 　　上传spark-2.1.0-bin-hadoop2.6.tgz安装包到Linux(intsmaze-131)上 　解压安装包到指定位置tar -zxvf ...

解决上述办法有两点： 　　1、两个import 需要放在 hiveCtx之后。 val hiveCtx: SparkSession = SparkSession.builder.config ...

这两天和同事一起在想着如何把一个表的记录减少，表记录包含了：objectid(主小区信息)，gridid(归属栅格)，height(高度)，rsrp(主小区rsrp)，n_objectid(邻区)，n ...

最近工作中把一些sql.sh脚本执行hive的语句升级为spark2.1版本，其中遇到将case when 替换为scala操作df的方式实现的问题： 代码数据： 错误代码： 错误的愿意就是这里的判定是否为空的地方。 正确用法： 疑问代码，如下代 ...

一、前期准备工作： 1.安装包的准备： VMware(10.0版本以上) : 官方网站：https://www.vmware.com/cn.html 官方下载地址：h ...