參考文獻:
http://blog.csdn.net/lxhandlbb/article/details/54410644
每次提交Spark任務到yarn的時候,總會出現uploading resource(打包spark jars並上傳)到hdfs上。
惡劣情況下,會在這里卡住很久。
解決:
在hdfs上創建目錄:
hdfs dfs -mkdir /spark_jars
上傳spark的jars(spark1.6 只需要上傳spark-assembly-1.6.0-SNAPSHOT-hadoop2.6.0.jar)
hdfs dfs -put /opt/spark/jars/* /spark_jars
在spark的conf的spark-default.conf
添加配置 :
spark.yarn.jars=hdfs://master:9000/spark_jars/*
#spark.yarn.jars=/opt/spark-2.1.1-bin-hadoop2.7/jars/*
即可解決。不會出現這個問題。