在閱讀一些博客和資料中,發現安裝spark與Scala是要嚴格遵守兩者的版本對應關系,如果版本不對應會在之后的使用中出現許多問題。
在安裝時,我們可以在spark的官網中查到對應的Scala版本號,如spark2.4.4中對應的版本號為Scala2.11
spark官網:http://spark.apache.org/downloads.html,其中可以得到所需的版本信息
圖中對應spark2.4.4需要使用Scala2.11版本,所以在下載安裝時需要注意
Spark官網相關說明中也有涉及https://spark.apache.org/docs/latest/index.html
另附一些看到的文章地址
迷之問題:Spark和Scala庫的版本一致性:http://www.bigdatastudy.net/show.aspx?id=644&cid=9
關於spark與scala版本問題記錄:https://www.cnblogs.com/little-horse/p/9665329.html