出現這個錯誤可能有兩種情況,Jar文件沒有傳上去,或者Build Path里面包含的Jar文件和Spark的運行環境有沖突。
對於第一種情況,需要在SparkConf語句后面加上Jar文件的路徑:
val conf = new SparkConf().setAppName("Spark Pi").setMaster("spark://master:7077").setJars(Seq("E:\\Intellij\\Projects\\SparkExample\\SparkExample.jar"))
對於第二種情況,需要把Build Path里面的Jar文件刪除,因為Spark運行環境已經有這些文件了,沒必要再繼續打包。刪除以后,既減少了打包后文件的大小,同時也不會和Spark運行環境的Jar文件產生沖突。