在CentOS 7環境下安裝 Spark

1、下載Spark安裝包：http://mirror.bit.edu.cn/apache/spark/

2、解壓Spark的安裝包並更改名稱：

 （1）tar -zxvf spark-2.4.3-bin-hadoop2.7.tgz

 （2）mv spark-2.4.3-bin-hadoop2.7.tgz spark

3、下載Scala安裝包：https://downloads.lightbend.com/scala/2.11.8/scala-2.11.8.tgz（請使用迅雷下載）

4、解壓Scala：tar -zxvf scala-2.11.8.tgz

5、修改Scala文件名：mv scala-2.11.8 scala

7、配置環境變量：vim /etc/profile  (三個節點都要)

export JAVA_HOME=/home/bigdata/jdk
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib/rt.jar:$JRE_HOME/lib
export HADOOP_HOME=/home/bigdata/hadoop
export HIVE_HOME=/home/bigdata/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export SCALA_HOME=/home/bigdata/scala
export SPARK_HOME=/home/bigdata/spark
export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME:$HIVE_HOME/bin:$SCALA_HOME/bin:$SPARK_HOME/bin:$PATH

8、生效配置文件：source /etc/profile

9、進入spark的conf目錄 ，將spark-env.sh.template復制為.sh文件：

cp spark-env.sh.template spark-env.sh

10、輸入 vi spark-env.sh 修改配置文件

JAVA_HOME=/home/bigdata/jdk
SCALA_HOME=/home/bigdata/scala
HADOOP_HOME=/home/bigdata/hadoop
HIVE_CONF_DIR=$HIVE_HOME/conf
SPARK_MASTER_IP=master
SPARK_WORKER_MEMORY=512M
export JAVA_HOME SCALA_HOME HADOOP_HOME HADOOP_CONF_DIR SPARK_MASTER_IP SPARK_WORKER_MEMORY

11、復制並重命名slaves.template文件： cp slaves.template slaves

12、修改slaves文件: vi slaves

13、將localhost注釋掉，加入namenode、datanode1和datanode2，保存並退出

14、將Spark文件發送到子節點：

（1）scp -r /home/bigdata/spark/ datanode1:/home/bigdata/spark

（2）scp -r /home/bigdata/spark/ datanode2:/home/bigdata/spark

15、在master機器上，進入spark的sbin目錄，輸入 ./start-all.sh 啟動spark集群

16、此時可以通過瀏覽器訪問master主機的8080端口，查看spark的運行情況，可以看到Workers中有兩個節點

Z-Blog：http://www.361wx.com