spark1(默認CDH自帶版本)不存在這個問題,主要是升級了spark2(CDHparcel升級)版本安裝后需要依賴到spark1的舊配置去讀取hadoop集群的依賴包。
1./etc/spark2/conf目錄需要指向/hadoop1/cloudera-manager/parcel-repo/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/etc/spark2/conf.dist
(命令ln -s /hadoop1/cloudera-manager/parcel-repo/SPARK2-2.1.0.cloudera1-1.cdh5.7.0.p0.120904/etc/spark2/conf.dist /etc/spark2/conf)
2.指向的目錄里的spark-env.sh里面必須有這兩個配置其中一個,都是去引用了hadoop環境jar包
(export SPARK_DIST_CLASSPATH=$(paste -sd: "$SELF/classpath.txt")或export SPARK_DIST_CLASSPATH=$(hadoop classpath))
3.利用oozie管理啟動spark應用需要關注這個配置參數:oozie.service.SparkConfigurationService.spark.configurations 值:*=/etc/spark2/conf,需要把這個參數同步到每一台機器。這個參數含義是oozie啟動spark時候哪里找配置文件