Diagnostics: File file:/tmp/spark-***/__spark_libs__***.zip does not exist



Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist

 

 

使用了cluster和client的deploy mode都不好使。期間使用cluster模式下,還報出了jar包找不到的異常。。

 

 

問題定位:因為spark和Hadoop的配置路徑進行過更改與更新,在spark-env.sh文件中Hadoop_conf_home沒有更新,導致spark無法正確讀取yarn集群的配置內容。導致了錯誤。

 

解決辦法:echo 'HADOOP_CONF_DIR='${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh


Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM