spark与Scala版本对应问题


在阅读一些博客和资料中,发现安装spark与Scala是要严格遵守两者的版本对应关系,如果版本不对应会在之后的使用中出现许多问题。

在安装时,我们可以在spark的官网中查到对应的Scala版本号,如spark2.4.4中对应的版本号为Scala2.11

spark官网:http://spark.apache.org/downloads.html,其中可以得到所需的版本信息

 

图中对应spark2.4.4需要使用Scala2.11版本,所以在下载安装时需要注意

 

Spark官网相关说明中也有涉及https://spark.apache.org/docs/latest/index.html

 

另附一些看到的文章地址

迷之问题:Spark和Scala库的版本一致性:http://www.bigdatastudy.net/show.aspx?id=644&cid=9

 

关于spark与scala版本问题记录:https://www.cnblogs.com/little-horse/p/9665329.html

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM