Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist
使用了cluster和client的deploy mode都不好使。期間使用cluster模式下,還報出了jar包找不到的異常。。
問題定位:因為spark和Hadoop的配置路徑進行過更改與更新,在spark-env.sh文件中Hadoop_conf_home沒有更新,導致spark無法正確讀取yarn集群的配置內容。導致了錯誤。
解決辦法:echo 'HADOOP_CONF_DIR='${HADOOP_HOME}/etc/hadoop >> ${SPARK_HOME}/conf/spark-env.sh
Diagnostics: File file:/tmp/spark-c03df206-c90e-4c97-a2d6-a5d3fdb17811/__spark_libs__303213348409500965.zip does not exist