原文:记一次--------spark.driver.host参数报错问题

报错日志: 问题回顾: 编写好程序,在本地idea远程访问测试环境进行测试, 一切正常。 提交程序到测试环境,使用spark local模式执行程序 , 一切正常。 使用cluster 模式执行程序,报错报错报错。。。 思路: 因为在测试环境跑local模式一切正常, 所以首先考虑到是不是因为环境问题,但是别的程序可以正常运行。 所以应该不是环境问题。 然后就想着应该是代码出现了问题, 但是看代 ...

2020-03-25 22:45 2 2407 推荐指数:

查看详情

一次--------spark 读 mysql 报错no suitable driver

报错日志如下: 意思是:没有合适的驱动, 按道理来说,如果找不到Java的driver驱动应该会报错为:class not found mysql.jdbc.driver 。 但是不知道为啥报错这个。 解决方法:在脚本中 ...

Tue Jul 28 07:25:00 CST 2020 0 487
一次spark classpath jar 冲突问题

spark shell 提交任务报错 此类 AbstractFileRegion 在spark-network-common.xxx.jar中 classpath是有的,所以怀疑jar冲突 ...

Wed Sep 09 22:25:00 CST 2020 0 818
一次ping: unknown host错误

虚拟机上一台主机,之前一直在用,可以通过xshell连接,但是忽然发现ping百度失败了! 检查这个失败感觉很麻烦,检查了配置文件,修改了ip结果都不可以!但是发现ping ip地址是可以的! 感觉应该是域名解析的问题,检查了/etc/resolv.conf ...

Fri Dec 21 06:58:00 CST 2018 0 1713
一次getParameter()获取不到参数问题的排查

这不是简单的获取不到参数问题. 一、问题背景 项目使用springboot+mybatis, 是一个后台系统. 其中有一些功能: 有一个自定义的全局过滤器DecryptFilter, 用于接口的解密与验签 有一个自定义的全局过滤器LogFilter, 用于打印所有接口的请求参数 ...

Tue Feb 23 06:31:00 CST 2021 0 1089
一次kubelet启动参数问题的排查

1.现象 从上图中看出,kubelet进程里面有一个--pod-infra-container-image=harbor.jddglobal.com/lambda/pause:3.1的启动参数,但这个参数不是我配置的,可能是之前搭建k8s集群遗留下的配置,但看了以下几个配置文件,均未 ...

Tue Mar 16 21:15:00 CST 2021 0 442
一次事务报错问题 Transaction synchronization is not active

问题场景 在一次请求的返回结果中出现了这个错误信息“Transaction synchronization is not active”,意思是“事务同步器没有激活”,看着不像是业务代码里返回的提示,猜测是spring事务框架报出来的异常没有被捕获而报的错,在代码里一通搜索之后确实没发现 ...

Thu Aug 15 22:54:00 CST 2019 0 3275
一次getResourceAsStream空指针报错问题

我的代码是这样写的: 本地一直正常,发到linux环境下,一直报空指针,排查了好多地方,最后才发现是大小写的问题:windows环境不区分大小写,所以不报错,linux区分大小写,所以路径始终有问题 ...

Wed Apr 01 22:18:00 CST 2020 0 1020
一次线上报错日志问题排查

今天阳光明媚,掐指一算,今天比较适合划水。 于是早上到公司之后先是蹲了厕所,然后就准备翻阅公众号推文。 看的正嗨,突然钉钉群里开始响了, 生产日志群报了一条警告,如下: 报错信息很明确 定位到业务代码如下 一个普普通通的map的put操作,怎么就报错了呢?继续往下 ...

Thu Apr 01 23:06:00 CST 2021 21 1547
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM