Mac配置Scala和Spark最詳細過程

原文鏈接: http://www.cnblogs.com/blog5277/p/8567337.html

原文作者: 博客園--曲高終和寡

 

一,准備工作

1.下載Scala http://www.scala-lang.org/download/ 拖到最下面,下載for mac的版本

 

 

2.下載Spark http://spark.apache.org/downloads.html

記得選版本啊,如果你是按照我之前的

Mac配置Hadoop最詳細過程

配置的話就是最新的2.7版本以后的,就直接點3下載就可以了

 

二.安裝Scala

1.我個人喜歡把各個軟件都放在/Library/目錄下,所以這里我也在改目錄下新建文件夾,提取后放進去,如下圖所示:

2.配置Scala的環境變量,打開終端,輸入以下代碼(涉及系統環境變量修改,所以應該會讓你輸入Mac的密碼):

sudo vim /etc/profile

在/Library/Scala/scala-2.12.4路徑上,同時按下 option + command +c 復制你選中的文件的路徑 , 粘貼出來如下:

/Library/Scala/scala-2.12.4

然后在剛剛你打開的終端里面,按 i 進入編輯模式 , 輸入如下代碼(如果路徑/版本不一樣,記得替換成你剛剛粘貼的那個)

export SCALA_HOME=/Library/Scala/scala-2.12.4
export PATH=$PATH:$SCALA_HOME/bin

按esc退出編輯模式,輸入:wq!保存並退出,輸入以下代碼:

source /etc/profile

使得改動立刻生效,輸入:

scala

即可看到你已經成功配置了Scala,如下圖所示:

按下 control + c 或者輸入 :quit 可以退出命令行Scala工具

 

三,安裝Spark

1.在/Library/下新建目錄,把之前下載的東西提取並放進去,如下圖所示:

2.配置Spark的環境變量,打開終端,輸入以下代碼(涉及系統環境變量修改,所以應該會讓你輸入Mac的密碼):

sudo vim /etc/profile

在/Library/Spark/spark-2.3.0-bin-hadoop2.7路徑上,同時按下 option + command +c 復制你選中的文件的路徑 , 粘貼出來如下:

/Library/Spark/spark-2.3.0-bin-hadoop2.7

然后在剛剛你打開的終端里面,按 i 進入編輯模式 , 輸入如下代碼(如果路徑/版本不一樣,記得替換成你剛剛粘貼的那個)

export SPARK_HOME=/Library/Spark/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

按esc退出編輯模式,輸入:wq!保存並退出,輸入以下代碼:

source /etc/profile

使得改動立刻生效

3.進入/Library/Spark/spark-2.3.0-bin-hadoop2.7/conf目錄下,將 spark-env.sh.template 復制一份 , 把復制出來的 spark-env.sh的副本.template 重命名為 spark-env.sh 右鍵-->打開方式-->文本編輯.app

在末尾加入下面代碼:

export SCALA_HOME=/Library/Spark/spark-2.3.0-bin-hadoop2.7

export SPARK_MASTER_IP=localhost

export SPARK_WORKER_MEMORY=4g

4.截止上面,Spark已經配置完成了,下面測試一下,在終端中跳轉至 /Library/Spark/spark-2.3.0-bin-hadoop2.7/sbin

cd /Library/Spark/spark-2.3.0-bin-hadoop2.7/sbin

輸入

./start-all.sh

如下圖所示,即為啟動成功:

在瀏覽器輸入以下網址即可看到打開的頁面:

127.0.0.1:8080

關閉Spark的話還是在 /Library/Spark/spark-2.3.0-bin-hadoop2.7/sbin 目錄下,輸入

./stop-all.sh