spark-2.1.0 集群安裝

1、spark安裝前提——必須安裝好Hadoop（本人有三台機，已安裝好Hadoop）

2、下載spark，解壓至master機本地文件

3、修改/conf/spark-env.sh（原名spark-env.sh.template，把它改過來）

配置如下：

export HADOOP_HOME=/usr/local/hadoop/hadoop-2.6.5
export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop-2.6.5/etc/hadoop
export JAVA_HOME=/usr/local/jdk/jdk1.8.0_121
export SCALA_HOME=/usr/local/scala/scala-2.12.1
export SPARK_MASTER_IP=master
export SPARK_WORKER_MEMORY=1G
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DRIVER_MEMORY=1G
export SPARK_WORKER_CORES=6

4、修改/conf/spark-default.conf(原名spark-default.conf.template，把它改過來)

配置如下：

spark.eventLog.enabled           true
spark.eventLog.dir               hdfs://master:9000/historyserverforSpark
spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"
spark.yarn.historyServer.address   master:18080
spark.history.fs.logDirectory      hdfs://master:9000/historyserverforSpark

 

 5、修改/conf/slaves（我有兩個節點）

配置如下：

slave1
slave2

 

6、配置/etc/profile 

#SPARK_HOME
export SPARK_HOME=/usr/local/spark/spark-2.1.0-bin-hadoop2.6
export PATH=$PATH:$SPATK_HOME/bin:$SPARK_HOME/sbin

 

7、將master上的spark文件和/etc/profile文件傳給slave機（以slave1為例）

scp /usr/local/spark root@slave1:/usr/local/spark

scp /etc/profile root@slave1:/etc/profile

7.2 創建 historyserverforSpark 文件夾

進入Hadoop/bin

hadoop dfs -mkdir /historyserverforSpark

8、啟動Hadoop后，啟動spark

/sbin/start-all.sh

之后啟動歷史記錄

/sbin/start-history-server.sh

9、查看是否成功

網頁登錄 master：8080 和 master：18080

10、bin/spark-submit 運行實例