Windows下Eclipse+Scala+Spark開發環境搭建


1、安裝JDK及配置java環境變量

本文使用版本為jdk1.7.0_79,過程略

2、安裝scala

本文使用版本為2.11.8,過程略

3、安裝spark

本文使用版本為spark-2.0.1-bin-hadoop2.7,解壓后路徑:D:\spark-2.0.1-bin-hadoop2.7,注意:Spark的文件目錄路徑名,不能出現空格,類似於“Program Files”這樣的文件夾名是不被允許的。

配置環境變量:

SPARK_HOME=D:\spark-2.0.1-bin-hadoop2.7

Path=%SPARK_HOME%/bin

4、安裝Hadoop

本文使用版本為hadoop-2.7.1,解壓后路徑:D:\Program Files\hadoop-2.7.1

配置環境變量

HADOOP_HOME=D:\Program Files\hadoop-2.7.1

Path=%HADOOP_HOME%/bin

 從https://github.com/steveloughran/winutils下載winutils.exe文件,並將其復制到Hadoop的bin目錄下

5、安裝scala插件

下載地址http://scala-ide.org/download/prev-stable.html

6、安裝Maven-Scala插件

通過http://alchim31.free.fr/m2e-scala/update-site/下載安裝(可能網絡問題導致經常安裝不成功),如果eclipse已經有Maven插件了,可只選擇第三項

添加遠程的原型或模板目錄:http://repo1.maven.org/maven2/archetype-catalog.xml

新建Archetype

參考:http://docs.scala-lang.org/tutorials/scala-with-maven.html

7、創建Maven-Scala工程

創建maven工程,選擇scala插件;add scala nature。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM