spark 與 Hadoop 融合后 Neither spark.yarn.jars nor spark.yarn.archive is set


參考文獻:

http://blog.csdn.net/lxhandlbb/article/details/54410644

 

 

每次提交Spark任務到yarn的時候,總會出現uploading resource(打包spark jars並上傳)到hdfs上。

惡劣情況下,會在這里卡住很久。

 

 

 

 

解決:
在hdfs上創建目錄:
hdfs dfs -mkdir   /spark_jars

上傳spark的jars(spark1.6 只需要上傳spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0.jar)


hdfs dfs -put /opt/spark/jars/*    /spark_jars


在spark的conf的spark-default.conf


添加配置 :

spark.yarn.jars=hdfs://master:9000/spark_jars/*
#spark.yarn.jars=/opt/spark-2.1.1-bin-hadoop2.7/jars/*

 

 


即可解決。不會出現這個問題。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM