Hue 之 SparkSql interpreters的配置及使用
1、环境说明： HDP 2.4 V3 sandbox hue 4.0.0 2、hue 4.0.0 编译及安装 地址：https://github.com/cloudera/hue/ ...
花费 37 ms
sparksql 设置动态分区数报错
Caused by: org.apache.hadoop.hive.ql.metadata.HiveFatalException: [Error 20004]: Fatal err ...
sparksql读取hive数据报错：java.lang.RuntimeException: serious problem
问题： 原因： 解决办法： 设置set spark.sql.hive.convertMetastoreOrc=true 单纯的设置以上参数还是会报错： 需要再设置set spark ...
sparksql系列(十) hive map嵌套struct、struct嵌套array、array嵌套struct
hive简单的数据结构像基本类型一样，处理起来没有难度。 但是hive有复杂的数据结构如struct、map、array等，处理起来较为复杂了，下面简单介绍一下用spark处理hive复杂数据结 ...
sparksql系列(一)环境搭建及helloworld详解
以前公司用的是spark-core，但是换工作后用的多是spark-sql。 最近学习了很多spark-sql，在此做一个有spark经验的sparksql快速入门的教程。 JDK安装包 1.8版本：https://pan.baidu.com/s ...
sparksql系列(三) sparksql列操作、窗口函数、join
一：Sparksql列操作 初始化SparkContext及数据： import java.util.Arrays import org.apache.spark.SparkConfimport org.apache.spark.api.java.JavaSparkContextimport ...
sparkSQL整体实现框架
原创作品，允许转载，转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。 http://9269309.blog.51cto.com/9259309/1845525 这篇博客的目的是让那些初次接触sparkSQL框架的童鞋们，希望 ...
Spark SQL入门到实战之（7）spark连接hive（spark-shell和eclipse两种方式）
1、在服务器（虚拟机）spark-shell连接hive 1.1 将hive-site.xml拷贝到spark/conf里 1.2 将mysql驱动拷贝到sp ...
Spark SQL底层执行流程详解
本文目录 一、Apache Spark 二、Spark SQL发展历程 三、Spark SQL底层执行原理 四、Catalyst 的两大优化 一、Apache Spark Apache S ...
sparksql系列(四) sparksql 操作数据库
一：SparkSql操作mysql 老规矩：先抽出来公共的方法： import java.util.Arrays import org.apache.spark.SparkConfimport org.apache.spark.api.java.JavaSparkContextimport ...