Spark開發環境搭建（IDEA、Scala、SVN、SBT）

本文轉載自查看原文 2018-10-17 16:50 1542 安裝文檔/ 技術/ Scala/ Spark

軟件版本

軟件信息
軟件名稱	版本	下載地址	備注
Java	1.8	https://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html	64位版本的
Scala	2.10.5	https://www.scala-lang.org/download/2.10.5.html
SBT	sbt 1.1.6	https://www.scala-sbt.org/download.html
SVN	最新版本	https://tortoisesvn.net/downloads.html	64位版本
IDEA		http://www.jetbrains.com/idea/

安裝JDK

下載JDK

java版本選擇

安裝JDK

下載后直接安裝就好了，設置一下安裝路徑：D:\Program Files\Java

安裝完后的文件結構（我的版本是171的）

配置環境變量

創建JAVA_HOME:

配置path：%JAVA_HOME%\bin;

查看安裝情況

打開cmd終端輸入java -version

出現java版本號則表示安裝成功

安裝Scala

下載Scala

安裝Scala

直接解壓到D:\Program Files\Scala

解壓后文件結構

配置環境變量

參考JDK環境變量設置

查看安裝情況

輸入scala,出現版本號則表示安裝成功

安裝SVN

下載SVN

安裝SVN

制定安裝路徑：D:\javaTool

這里有個要注意的地方

command line client tools 選項一定要勾選上，否則IDEA配置的時候會找不到svn.exe

配置環境變量

參考JDK環境變量的配置

查看安裝情況

執行svnserve --help，出現一下頁面

桌面任意位置右鍵，出現

安裝SBT

下載SBT

安裝SBT

解壓到D:\javaTool，文件結構如下

配置環境變量

參考JDK環境變量設置

配置SBT

repo.repositories

 1 進入D:\javaTool\sbt\conf 下
 2 創建一個文件repo.repositories
 3 編輯以下內容
 4 [repositories]
 5 local
 6 cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
 7 aliyun: http://maven.aliyun.com/nexus/content/groups/public/
 8 - maven-local: D:/javaTool/mavenLocalRepository
 9 
10 cloudera：這是cdh版本的庫，如果使用的是cloudera的hadoop全家桶需要使用這個庫
11 aliyun：阿里雲的庫，國內的比較快
12 maven-local：因為我還配置了一個Maven，所以可以吧maven的本地倉庫加進來，如果沒有就不需要加了。
13 以上是repo.repositories文件的內容

修改完后如下

sbtconfig

 1 編輯sbtconfig文件輸入以下內容
 2 # Set the java args to high
 3 -Xmx512M
 4 
 5 -XX:MaxPermSize=256m
 6 
 7 -XX:ReservedCodeCacheSize=128m
 8 
 9 # Set the extra SBT options
10 
11 -Dsbt.log.format=true
12 
13 -Dsbt.ivy.home=D:/javaTool/sbt/ivy
14 -Dsbt.global.base=D:/javaTool/sbt/.sbt
15 -Dsbt.repository.config=D:/javaTool/sbt/conf/repo.properties
16 -Dsbt.log.format=true
17 
18 說明：前一部分是jvm的一些配置
19 -Dsbt.ivy.home：是本地庫，類似與maven的本地庫
20 -Dsbt.repository.config：指定使用的配置文件
21 另外另個還沒去查找啥意思

配置完如下

到目前為止sbt配置部分就結束了,接下來只要到開一個命令行輸入sbt,不出意外的話sbt就會構建成功,會生成D:/javaTool/sbt/ivy等等

但是可能是版本原因,配置的本地倉庫並沒有生效,jar還是下載到了C盤，在查找資料后，發現還有另一個地方需要配置。

D:\javaTool\sbt\bin\sbt-launch.jar

配置文件是在D:\javaTool\sbt\bin\sbt-launch.jar中的\sbt\sbt.boot.properties中（可用rar解壓工具直接打開修改並覆蓋，記住是用rar打開文件不需要解壓，否則弄不回jar了），修改里面的內容：

 1 [scala]
 2   version: ${sbt.scala.version-auto}
 3 
 4 [app]
 5   org: ${sbt.organization-org.scala-sbt}
 6   name: sbt
 7   version: ${sbt.version-read(sbt.version)[1.1.6]}
 8   class: ${sbt.main.class-sbt.xMain}
 9   components: xsbti,extra
10   cross-versioned: ${sbt.cross.versioned-false}
11   resources: ${sbt.extraClasspath-}
12 
13 [repositories]
14   local
15   spring: http://conjars.org/repo/
16   cloudera: https://repository.cloudera.com/artifactory/cloudera-repos/
17   aliyun: http://maven.aliyun.com/nexus/content/groups/public/
18   maven-central
19   sbt-maven-releases: https://repo.scala-sbt.org/scalasbt/maven-releases/, bootOnly
20   sbt-maven-snapshots: https://repo.scala-sbt.org/scalasbt/maven-snapshots/, bootOnly
21   typesafe-ivy-releases: https://repo.typesafe.com/typesafe/ivy-releases/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
22   sbt-ivy-snapshots: https://repo.scala-sbt.org/scalasbt/ivy-snapshots/, [organization]/[module]/[revision]/[type]s/[artifact](-[classifier]).[ext], bootOnly
23 
24 [boot]
25   directory: ${sbt.boot.directory-${sbt.global.base-${user.home}/.sbt}/boot/}
26   lock: ${sbt.boot.lock-true}
27 
28 [ivy]
29   ivy-home: D:/javaTool/sbt/ivy
30   checksums: ${sbt.checksums-sha1,md5}
31   override-build-repos: ${sbt.override.build.repos-false}
32   repository-config: ${sbt.repository.config-${sbt.global.base-${user.home}/.sbt}/repositories}

修改后如下：

查看安裝情況

再終端執行sbt

經測試，此時下載的jar會放在D:/javaTool/sbt/ivy中，即自己設置的本地庫中

安裝IDEA

因為我的IDEA早就安裝完了，所以在網上找了個教程，參照下面教程就可以把IDEA安裝完畢

下載IDEA

1 關於JDK版本，在scala的官網上有這么一段話
2 Installation
3 1.Make sure you have the Java 8 JDK (also known as 1.8)
4 o    Run javac -version on the command line and make sure you seejavac 1.8.___
5 o    If you don’t have version 1.8 or higher, install the JDK
6 2.Next, download and install IntelliJ Community Edition
7 3.Then, after starting up IntelliJ, you can download and install the Scala plugin by following the instructions on how to install IntelliJ plugins (search for “Scala” in the plugins menu.)
8 When we create the project, we’ll install the latest version of Scala. Note: If you want to open an existing Scala project, you can click Open when you start IntelliJ.
9 大概意思是 需要1.8以上版本的jdk，所以我們需要安裝jdk1.8或以上版本