记一次--------spark.driver.host参数报错问题
报错日志： 问题回顾： 编写好程序，在本地idea远程访问测试环境进行测试， 一切正常。 提交程序到测试环境，使用spark local模式执行程序 ， 一切正常。 使用cluster 模式 ...
原文：记一次--------spark.sql.codegen.wholeStage=false参数修改
程序虽然报错提示如下 程序虽然现实报错内容，但是没有指定到具体代码位置， 查看hive结果表，结果表正常插入hive表中。 虽然不影响结果运行，但是看到日志报错内容，决定解决一下。 在脚本中加入一下参数配置，默认spark . 是true。 conf spark.sql.codegen.wholeStage false 该参数的是将SQL语句优化成java代码，从而提高运行效率。。。 但是不知道 ...
2020-04-11 18:33 0 1114 推荐指数：
相关推荐
记一次--------sparkSQL程序local模式运行不起来，增加参数配置spark.locality.wait
问题： 跑本地模式 一直卡在下图最下面日志部分30分钟不动 查看运行日志一直卡在 箭头处不动，没有任何报错。 因为处理逻辑只是简单的sparksql两个表left ...
记一次SQL环境搭建
今天有项目需要SQL环境，想尝试一下SQL server 2016 平台Win10x64 搭建SQL server一切正常 出人意料，SMSS出问题了 最开始下载的是英文版 出现0x报错，从网上查找经验发现是因为安装了net子版本过高 于是下载中文版(中文总是比英文更新的慢 ...
记一次CDH修改IP
因机房服务器搬迁,需要修改CDH ip ,集群中有6台服务器. 其中配置了ldap,其中卡在了ldap中的坑太深,所以记录一下. 一、服务器IP等地址修改 1.首先在安装cloudera-manager的主机上，停止所有的cloudera管理进程 service ...
记一次SQL注入实战
/index.php/Home/Public/login.html 相关工具 注入工具： 超级SQL注入 ...
记一次SQL调优
insert优化 如果你在某一时刻有大量的insert操作，一条一条插入是非常耗时的。insert语句本身支持一次插入很多条记录，插入记录数上限受sql语句长度限制，一般一次插个几千条是没问题的。在我的 《如何手动实现Try Insert和Insert Or Update》 一文中对于各种情况 ...
记一次Sql优化过程
这几天在写一个存储过程，反复优化了几次，从最开始的7分钟左右，优化到最后的几秒，并且这个过程中我的导师帮我指点了很多问题，这些指点都是非常宝贵的，独乐乐不如众乐乐，一起来分享这次的优化过程吧。 这个 ...
记一次Spring Boot 配置多ElasticSearch-sql 数据源，按照参数动态切换
最近公司项目中 有需要用ElasticSearch (后续简称ES) 集成 SQL 查询功能，并可以按照请求参数动态切换目标数据源，同事找到我帮忙实现该功能，以前没做过，只好赶鸭子上架， 网上很多资料不全，瞎琢磨半天终于完成,记录了一些实现过程中踩过的坑，便于大家借鉴。 我们测试环境部署 ...