記錄一下版本問題:
spark與scala版本對應問題:
1.官網會給出,如下,spark2.3.1默認需要scala2.11版本
2.在maven依賴網中也可以看到,如下
3.關於idea開發版本中也可以看到所需要依賴的scala版本
通常在file->project structure->global libraries 右側,點擊加號將scala sdk加入后,最右側有個下拉框,可以看到此idea支持的一些scala版本號
如果通過加入的scala sdk版本超出idea所需要的scala版本會無法使用
4.可以不通過上面的方式加入scala sdk,可以通過pom形式加入所需scala依賴項,也可以開發spark和scala程序