安裝Scala-2.11.7——集群學習日記


前言

在安裝Spark之前,我們需要安裝Scala語言的支持。在此我選擇的是scala-2.11.7版本。

scala-2.11.7下載

為了方便,我現在我的SparkMaster主機上先安裝,把目錄打開到/usr目錄下,與我的Java目錄相一致。

wget https://downloads.lightbend.com/scala/2.11.7/scala-2.11.7.tgz

下載之后解壓

tar -zxvf scala-2.11.7.tgz

解壓之后刪除源文件

rm -rf scala-2.11.7.tgz

配置環境

在此需要打開/etc/profile文件進行配置

vi /etc/profile

在文件的最后插入

export SCALA_HOME=/usr/scala-2.11.7

export PATH=$PATH:$SCALA_HOME/bin

插入了之后要使得命令生效,需要的是:

source /etc/profile

檢測是否安裝成功

scala -version

配置其他Slave主機也安裝scala

在此我選擇在SparkMaster上使用rsync命令將/usr/scala-2.11.7/目錄復制到其他SparkWorker上,另外/etc/profile文件也同樣。

rsync -av /usr/scala-2.11.7/ SparkWorker1:/usr/scala-2.11.7/
rsync -av /usr/scala-2.11.7/ SparkWorker2:/usr/scala-2.11.7/

結言

其實復制的時候多種方式,可以使用scp,但是發現rsync這個命令超級好用,故在此使用rsync進行復制。至此,三台的主機的scale文件已經配置好了。已經挺晚的了,明天再進行配置spark環境吧。

文章出自kwongtai'blog,轉載請標明出處!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM