idea構建spark開發環境,並本地運行wordcount


1、首先現在idea,官網:https://www.jetbrains.com/idea/

2、安裝jdk1.8,scala2.11

3、下載idea后,需要在idea中安裝scala的插件,安裝的方式如下:

File--->settings--->Plugins--->輸入scala(下圖是我已經安裝好了)

3、配置spark依賴包

下載spark相關的包spark-2.1.1-bin-hadoop2.7.tgz 並將spark相關的jars依賴包添加到項目的library中,具體操作如下:

選中項目,按F4

添加依賴包如下所示:(注意后面必須是Compile)

4、出現的問題:

 (1)Error:(9, 8) App is already defined as object App

object App {}

 

這種問題是因為設置了多個source。只需要src為source即可。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM