一、依賴文件安裝
1.1 JDK
參見博文：http://www.cnblogs.com/liugh/p/6623530.html
1.2 Hadoop
參見博文：http://www.cnblogs.com/liugh/p/6624872.html
1.3 Scala
參見博文：http://www.cnblogs.com/liugh/p/6624491.html
二、文件准備
2.1 文件名稱
spark-2.1.0-bin-hadoop2.7.tgz
2.2 下載地址
http://spark.apache.org/downloads.html
三、工具准備
3.1 Xshell
一個強大的安全終端模擬軟件，它支持SSH1, SSH2, 以及Microsoft Windows 平台的TELNET 協議。
Xshell 通過互聯網到遠程主機的安全連接以及它創新性的設計和特色幫助用戶在復雜的網絡環境中享受他們的工作。
3.2 Xftp
一個基於 MS windows 平台的功能強大的SFTP、FTP 文件傳輸軟件。
使用了 Xftp 以后，MS windows 用戶能安全地在UNIX/Linux 和 Windows PC 之間傳輸文件。
四、部署圖
五、Spark安裝
以下操作，均使用root用戶
5.1 通過Xftp將下載下來的Spark安裝文件上傳到Master及兩個Slave的/usr目錄下
5.2 通過Xshell連接到虛擬機，在Master及兩個Slave上，執行如下命令，解壓文件：
# tar zxvf spark-2.1.0-bin-hadoop2.7.tgz
5.3 在Master上，使用Vi編輯器，設置環境變量
# vi /etc/profile
在文件最后，添加如下內容：
#Spark Env
export SPARK_HOME=/usr/spark-2.1.0
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin
5.4 退出vi編輯器，使環境變量設置立即生效
# source /etc/profile
通過scp命令，將/etc/profile拷貝到兩個Slave節點：
#scp /etc/profile root@DEV-SH-MAP-02:/etc
#scp /etc/profile root@DEV-SH-MAP-03:/etc
分別在兩個Salve節點上執行# source /etc/profile使其立即生效
六、Spark配置
以下操作均在Master節點，配置完后，使用scp命令，將配置文件拷貝到兩個Worker節點即可。
切換到/usr/spark-2.1.0/conf/目錄下，修改如下文件：
6.1 spark-env.sh
將spark-env.sh.template重命名為spark-env.sh
#mv spark-env.sh.template spark-env.sh
使用vi編輯器，打開spark-env.sh，在文件最后，添加如下內容：
export JAVA_HOME=/usr/jdk1.8.0_121 export SCALA_HOME=/usr/scala-2.12.1 export SPARK_MASTER_IP=10.10.0.1 export SPARK_WORKER_MEMORY=1g export HADOOP_CONF_DIR=/usr/hadoop-2.7.3/etc/hadoop
6.2 slaves
將slaves.template重命名為slaves
#mv slaves.template slaves
使用vi編輯器，打開slaves，在文件最后，添加如下內容：
DEV-SH-MAP-01 DEV-SH-MAP-02 DEV-SH-MAP-03
6.3 拷貝配置文件到兩個Worker節點
在Master節點，執行如下命令：
# scp -r /usr/spark-2.1.0/conf/ root@DEV-SH-MAP-02:/usr/spark-2.1.0/
# scp -r /usr/spark-2.1.0/conf/ root@DEV-SH-MAP-03:/usr/spark-2.1.0/
七、Spark使用
7.1 啟動Hadoop集群
參見博文：http://www.cnblogs.com/liugh/p/6624872.html
7.2 啟動Master節點
Master節點上，執行如下命令：
#start-master.sh
使用jps命令，查看Java進程:
34225 SecondaryNameNode 33922 NameNode49702 Jps 34632 NodeManager 34523 ResourceManager 34028 DataNode 36415 Master
7.3 啟動Worker節點
Master節點上，執行如下命令：
#start-slaves.sh
使用jps命令，查看Java進程:
34225 SecondaryNameNode 33922 NameNode 36562 Worker 49702 Jps 34632 NodeManager 34523 ResourceManager 34028 DataNode 36415 Master
7.4 通過瀏覽器查看Spark信息
瀏覽器中，輸入http://10.10.0.1:8080
7.5 停止Master及Workder節點
#stop-master.sh
#stop-slaves.sh