Spark入门实战系列--6.SparkSQL（上）--SparkSQL简介
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、SparkSQL的发展历程 1.1 Hive and Shark SparkSQL的前身是Shark，给熟悉RDBMS但又不理解MapReduce的技术人员提供快速上手的工具，Hive应运而生 ...
原文：Spark入门实战系列--6.SparkSQL（中）--深入了解SparkSQL运行计划及调优
注 该系列文章以及使用到安装包 测试数据 可以在 倾情大奉送 Spark入门实战系列 获取 . 运行环境说明 . . 硬软件环境 l 主机操作系统：Windows 位，双核 线程，主频 . G， G内存 l 虚拟软件：VMware Workstation . . build l 虚拟机操作系统：CentOS . 位，单核 l 虚拟机运行环境： JDK： . . 位 Hadoop： . . 需要编 ...
2015-08-27 06:59 0 17565 推荐指数：
相关推荐
Spark入门实战系列--6.SparkSQL（下）--Spark实战应用
【注】该系列文章以及使用到安装包/测试数据 可以在《倾情大奉送--Spark入门实战系列》获取 1、运行环境说明 1.1 硬软件环境 l 主机操作系统：Windows 64位，双核4线程，主频2.2G，10G内存 l 虚拟软件：VMware® Workstation 9.0.0 ...
sparkSQL1.1入门之四：深入了解sparkSQL执行计划
/console，来加深读者对sparkSQL的执行计划的理解。 1： ...
SparkSQL调优
1、执行计划（过往记忆https://www.iteblog.com/archives/2562.html） 2、逻辑计划优化方法： 谓词下推，列裁剪，常量替换，常量累加 3、优化方法 数据源方面： 1、hive 使用parquet格式，不要用textfile。列式 ...
JVM调优和深入了解性能优化
优 2、 大部分需要GC调优的的，不是参数问题，是代码问题 3、 在实际使用中，分析GC情况优化代 ...
sparksql系列(六) SparkSql中UDF、UDAF、UDTF
RDD没有可以这种可以注册的方法。 在使用sparksql过程中发现UDF还是有点用的所以，还是单独写一篇博客记录一下。 UDF=》一个输入一个输出。相当于map UDAF=》多个输入一个输出。相当于reduce UDTF=》一个输入多个输出。相当于flatMap。（需要hive环境，暂时 ...
Spark SQL 编程API入门系列之SparkSQL数据源
不多说，直接上干货！ SparkSQL数据源：从各种数据源创建DataFrame 因为 spark sql，dataframe，datasets 都是共用 spark sql 这个库的，三者共享同样的代码优化，生成以及执行流程，所以 sql ...
sparksql系列(八) sparksql优化
公司数仓迁移完成了，现在所有的数据一天6T的用户行为数据全部由一个spark脚本，关联用户属性数据生成最终想要的数据。里面让我感触最深的是资源的使用spark优化，再此记录一篇关于sparksql优化的文章，专门总结以下现在使用的资源优化及以前使用的资源优化。 一：资源优化 ...