idea或者java遠程提交spark任務到yarn,Exception1


spark通過idea遠程提交job到yarn:

Caused by: java.lang.ClassCastException: cannot assign instance of scala.collection.immutable.List$SerializationProxy to field org.apache.spark.rdd.RDD.org$apache$spark$rdd$RDD$$dependencies_ of type scala.collection.Seq in instance of org.apache.spark.rdd.MapPartitionsRDD

1.大概是由於沒有設置要提交的jar包路徑,遠程提交是需要設置SPARK_HOME的環境變量,所以idea遠程提交應該是類似於spark-shell --master yarn的提交方式,需要執行的代碼要yarn集群的executor端

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM