原文:Spark java.io.IOException: Can't get Master Kerberos principal for use as renewer 错误解决

一 概述 当集群开启了Kerberos后,Spark向hive中写入数据时,代码中会去读取yarn的配置文件,如果读不到yarn的配置文件,就会报这样的错误。如果用IDEA开发的ETL程序直接在CDH上面运行是没有这个问题的 但是当程序在第三方机器上运行时就会包这个错误。因为Spark客户端需要将yarn site.xml加载。如果只是拷贝了hdfs site.xml core site.xml ...

2020-08-12 17:24 0 1602 推荐指数:

查看详情

java.io.IOException: Too many open files错误解决方案

部署在LINUX上的SSO服务器近日每隔几天就会当掉,查看日志有这样的错误java.io.IOException: Too many open files。网上查了下,说是由于linux有打开文件句柄的限制。可以使用ulimit -a 查看当前用户可最大打开的文件句柄数,如果没有设的话 ...

Thu Dec 13 01:38:00 CST 2012 0 7700
java.io.IOException: Filesystem closed错误

1.往集群提交任务的时候,需要使用多线程在hdfs上面读取一个资源文件。在读取该资源文件的时候,代码爆出如下异常: 2.原因: 当任务提交到集群上面以后,多个datanode在get ...

Thu Mar 24 17:33:00 CST 2022 0 952
Dubbo java.io.IOException: Can not lock the registry cache file

跑单测用例的时候,以前执行成功的用例,运行时控制台仍然会报 dubbo 相关的错误: Failed to save registry store file, cause: Can not lock the registry cache file 2016-03-22 17:16:05,493 ...

Wed Mar 23 01:47:00 CST 2016 4 8094
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM