java.lang.ClassNotFoundException: SparkPi$$anonfun$1


出現這個錯誤可能有兩種情況,Jar文件沒有傳上去,或者Build Path里面包含的Jar文件和Spark的運行環境有沖突。

對於第一種情況,需要在SparkConf語句后面加上Jar文件的路徑:

val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SparkExample\\SparkExample.jar"))

對於第二種情況,需要把Build Path里面的Jar文件刪除,因為Spark運行環境已經有這些文件了,沒必要再繼續打包。刪除以后,既減少了打包后文件的大小,同時也不會和Spark運行環境的Jar文件產生沖突。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM