sparksql系列(二) sparksql常规操作
import java.util.Arrays import org.apache.spark.SparkConfimport org.apache.spark.api.java.JavaSpark ...
原文：sparksql系列(八) sparksql优化
公司数仓迁移完成了，现在所有的数据一天 T的用户行为数据全部由一个spark脚本，关联用户属性数据生成最终想要的数据。里面让我感触最深的是资源的使用spark优化，再此记录一篇关于sparksql优化的文章，专门总结以下现在使用的资源优化及以前使用的资源优化。 一：资源优化 对于数据处理的分组 数据有的上报的多一天 T，有的上报的少一天不到 G，但是需要统一去处理，这时候就可以使用数据分组的方法 ...
2020-03-29 22:10 0 700 推荐指数：
相关推荐
SparkSQL
Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 Hive SQL是转 ...
sparksql系列(五) SparkSql异常处理，优化，及查看执行计划
有了上面四篇文章，再加上一些异常处理、优化，开发基本就没什么问题了。下面我们开始： 一：SparkSql异常处理 将类转换为DF 实际开发过程中有很多需要将一个数字或者汇聚出来的数据转换为DF的需求 这时候可以将数字或者数据转换成一个类，将类转换为DF val data ...
sparksql系列(六) SparkSql中UDF、UDAF、UDTF
RDD没有可以这种可以注册的方法。 在使用sparksql过程中发现UDF还是有点用的所以，还是单独写一篇博客记录一下。 UDF=》一个输入一个输出。相当于map UDAF=》多个输入一个输出。相当于reduce UDTF=》一个输入多个输出。相当于flatMap。（需要hive环境，暂时 ...
SparkSQL执行时参数优化
近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力. 发现根本原因在于sparkSQL配置有诸多问题,解决后总结出来就当抛砖引玉了. 具体现象 内存CPU比例失调 一个Spark任务消耗 120(executor)*4G ...
SparkSQL执行时参数优化
. 原因分析 SparkSQL配置时Core与内存比例不恰当 没有指定execut ...
sparksql系列(三) sparksql列操作、窗口函数、join
一：Sparksql列操作 初始化SparkContext及数据： import java.util.Arrays import org.apache.spark.SparkConfimport org.apache.spark.api.java.JavaSparkContextimport ...
sparksql系列(四) sparksql 操作数据库
一：SparkSql操作mysql 老规矩：先抽出来公共的方法： import java.util.Arrays import org.apache.spark.SparkConfimport org.apache.spark.api.java.JavaSparkContextimport ...