sparksql 复杂查询OOM
平台上执行复杂查询，OOM，根据日志提示的结局方法： -- SET spark.driver.memory=6/8G;【还是OOM】set spark.sql.autoBroadcastJoinThreshold=-1;【解决问题】 Exception in thread ...
原文：sparksql查询excel
Spark官网下载Spark Spark下载,版本随意,下载后解压放入bigdata下 目录可以更改 下载Windows下Hadoop所需文件winutils.exe 同学们自己网上找找吧，这里就不上传了，其实该文件可有可无，报错也不影响Spark运行，强迫症可以下载，本人就有强迫症 ,文件下载后放入bigdata hadoop bin目录下。不用创建环境变量，再Java最开始处定义系统变量即可, ...
2019-01-19 14:46 0 1655 推荐指数：
相关推荐
SparkSQL
Spark SQL Spark SQL是Spark用来处理结构化数据的一个模块，它提供了2个编程抽象：DataFrame和DataSet，并且作为分布式SQL查询引擎的作用。 Hive SQL是转换成MapReduce然后提交到集群上执行，大大简化了编写MapReduc的程序的复杂性 ...
使用SparkSQL实现多线程分页查询并写入文件
一、由于具有多张宽表且字段较多，每个宽表数据大概为4000万条，根据业务逻辑拼接别名，并每张宽表的固定字段进行left join 拼接SQL。这样就能根据每个宽表的主列，根据每个宽表的不同字段关联出一张新的集合。由于下来要进行分页查询，如果要使用SparkSQL进行分页查询，需要增加序号列 ...
【大数据】SparkSql 连接查询中的谓词下推处理 (一)
本文首发于 vivo互联网技术 微信公众号 https://mp.weixin.qq.com/s/YPN85WBNcnhk8xKjTPTa2g 作者：李勇 目录： 1.SparkSql 2.连接查询和连接条件 3.谓词下推 4.内连接查询中的谓词下推规则 4.1.Join ...
sparksql系列(八) sparksql优化
公司数仓迁移完成了，现在所有的数据一天6T的用户行为数据全部由一个spark脚本，关联用户属性数据生成最终想要的数据。里面让我感触最深的是资源的使用spark优化，再此记录一篇关于sparksql优化的文章，专门总结以下现在使用的资源优化及以前使用的资源优化。 一：资源优化 ...
【Sqlserver】查询结果导出excel
1.右键数据库——》任务——》导出数据，打开SQL Server导入和导出向导； 2.选择当前数据库，填写用户名，密码，下一步； 3.选择目标类型 excel，选择导出模板，下一步； 4.选择编写查询以指定要传输的数据（W），可以直接按W，下一步； 5.写入查询SQL语句，点击分析检测语句 ...
EXCEL IF 函数 模糊查询
A列都是产品名，比如衬衫，长袖衬衫，短袖衬衫，短裙，长裙 搜索A列的产品名，凡是含有“衬衫”的一律在B列对应行输出“衬衫”，凡是含有“裙”字的一律输出“裙子”在B列对应行，请教一下怎么写函数，本来用I ...