25.Spark下載源碼和安裝和使用

安裝scala

上傳安裝包

 

 

 

解壓

 

 

 

配置scala相關的環境變量

  export SCALA_HOME=/opt/modules/scala-2.11.4
  export PATH=$PATH:$SCALA_HOME/bin

 

 

驗證scala安裝是否成功

 

 

 

 

把scala分發給node2  node3  node4

scp -r scala-2.11.4/ hadoop@node2:/opt/modules/

scp -r scala-2.11.4/ hadoop@node3:/opt/modules/

scp -r scala-2.11.4/ hadoop@node4:/opt/modules/

 

 

分別給node2  node3  node4配置scala的環境變量，並使其生效

#scala
export SCALA_HOME=/opt/modules/scala-2.11.4
export PATH=$PATH:$SCALA_HOME/bin

 

 

 

 

 

 

 

 

 

 

 

 

spark安裝包下載地址：https://archive.apache.org/dist/spark/spark-1.5.1/

 

 

 

上傳安裝包導集群

 

 

 

解壓安裝包

 

 

配置spark的環境變量

 

 

#spark
export SPARK_HOME=/opt/modules/spark-1.5.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

 

 

使環境變量生效

 

 

 

修改spark配置文件

 

 

 

 

修改spark-env.sh文件

vim spark-env.sh文件

添加以下語句

 

 

export JAVA_HOME=/opt/modules/jdk1.8.0_65
export SCALA_HOME=/opt/modules/scala-2.11.4
export SPARK_MASTER_IP=node1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/opt/modules/hadoop-2.6.0/etc/hadoop

 

 

 

修改slaves文件

vim slaves

 

 

 

 

將spark安裝包分發給node2 node3 node4

scp -r spark-1.5.1-bin-hadoop2.6/ hadoop@node2:/opt/modules/

scp -r spark-1.5.1-bin-hadoop2.6/ hadoop@node3:/opt/modules/

scp -r spark-1.5.1-bin-hadoop2.6/ hadoop@node4:/opt/modules/

 

 

再給node2 node3 node4配置spark的環境變量

#spark
export SPARK_HOME=/opt/modules/spark-1.5.1-bin-hadoop2.6
export PATH=$PATH:$SPARK_HOME/bin
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib

 

 

在spark目錄下的sbin目錄執行./start-all.sh

 

 

 

 

 

 

 

 

在瀏覽器打開地址http://node1:8080/

 

 

啟動spark-shell

 

 

 

 

啟動成功！！！！