spark运行信息及报错问题解决集锦




错误1:

ERROR client.RemoteDriver: Failed to start SparkContext: java.lang.IllegalArgumentException: Executor memory 456340275 must be at least 471859200.

Please increase executor memory using the --executor-memory option or spark.executor.memory in Spark configuration

解决方法:搜索 spark.executor.memory 进行配置到可使用的范围大小,如下图:

      

 

 

 

 

 

错误2:

Caused by: java.lang.IllegalArgumentException:

Executor memory 456340275 must be at least 471859200.

Please increase executor memory using the --executor-memory option or spark.executor.memory in Spark configuration

解决方法:

          spark.executor.memory(Spark 执行程序最大 Java 堆栈大小)的值过小,把 spark.executor.memory 设置大于 报错信息中规定的 at least 471859200。

             

 

 

 

错误3:

使用 yarn HA时,运行 hive on yarn 的任务无法得出结果时,并且出现以下错误

Caused by:javax.servlet.ServletException: Could not determine the proxy server for redirection

解决办法:禁用 YARN HA,即ResourceManager只使用一个主节点,其实一般yarn HA仍然能运行 hive on yarn 的任务并且能得出正常结果,但是还是会报出同样错误

        

 

 

 

 

错误4:

YARN HA(node1、node2均部署了ResourceManager)的情况下,执行 hive on spark 的程序,虽然能得出正常执行成功得出结果,

但是对应该程序的日志信息仍然报错:无法确定用于重定向的代理服务器 Could not determine the proxy server for redirection。

select * from test_tb;

select count(*) from test_tb;

insert into test_tb values(2,'ushionagisa');

        

解决办法:

脚本中定义任务提交的命令:

Default Hive database:hdfs://nameservice1/user/hive/warehouse

spark.master:spark://master:7077

/root/spark/bin/spark-sql --master spark://node1:7077 --executor-memory 1g --total-executor-cores 2 --conf spark.sql.warehouse.dir=hdfs://nameservice1/user/hive/warehouse


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM