1、安裝JDK及配置java環境變量
本文使用版本為jdk1.7.0_79,過程略
2、安裝scala
本文使用版本為2.11.8,過程略
3、安裝spark
本文使用版本為spark-2.0.1-bin-hadoop2.7,解壓后路徑:D:\spark-2.0.1-bin-hadoop2.7,注意:Spark的文件目錄路徑名,不能出現空格,類似於“Program Files”這樣的文件夾名是不被允許的。
配置環境變量:
SPARK_HOME=D:\spark-2.0.1-bin-hadoop2.7
Path=%SPARK_HOME%/bin
4、安裝Hadoop
本文使用版本為hadoop-2.7.1,解壓后路徑:D:\Program Files\hadoop-2.7.1
配置環境變量
HADOOP_HOME=D:\Program Files\hadoop-2.7.1
Path=%HADOOP_HOME%/bin
從https://github.com/steveloughran/winutils下載winutils.exe文件,並將其復制到Hadoop的bin目錄下
5、安裝scala插件
下載地址http://scala-ide.org/download/prev-stable.html
6、安裝Maven-Scala插件
通過http://alchim31.free.fr/m2e-scala/update-site/下載安裝(可能網絡問題導致經常安裝不成功),如果eclipse已經有Maven插件了,可只選擇第三項
添加遠程的原型或模板目錄:http://repo1.maven.org/maven2/archetype-catalog.xml
新建Archetype
參考:http://docs.scala-lang.org/tutorials/scala-with-maven.html
7、創建Maven-Scala工程
創建maven工程,選擇scala插件;add scala nature。