sbt spark2.3.1 idea打包Caused by: java.lang.ClassNotFoundException: scala.Product$class

今天同事在服務區上面裝的是最新版本的hadoop3.10和spark2.3.1,因為用scala開發，

所以我想用sbt進行開發。過程中遇到各種坑，剛開始用的jdk10,結果也報錯，后來改成jdk1.8.

又報了新的錯誤。開始用的是scala2.12.6

 

如果不要使用spark的純scala項目則不報錯，但只要是spark的包引用則報錯，則統統報錯。

Caused by: java.lang.ClassNotFoundException: scala.Product$class

后來修改build.sbt成下面的格式

name := "sbttest"

version := "0.1"

scalaVersion := "2.11.12"

libraryDependencies += "org.apache.spark" % "spark-core_2.11" % "2.3.1"


libraryDependencies += "org.apache.spark" % "spark-sql_2.11" % "2.3.1"

 重點在

scalaVersion := "2.11.12"的版本號2.11要和要和spark-core_后面的數字2.11要相同。這樣就不報錯了
結果如下