前言
在安裝后hadoop之后，接下來需要安裝的就是Spark。
scala-2.11.7下載與安裝
具體步驟參見上一篇博文
Spark下載
為了方便，我直接是進入到了/usr/local文件夾下面進行下載spark-2.2.0
wget https://d3kbcqa49mib13.cloudfront.net/spark-2.2.0-bin-hadoop2.7.tgz
Spark安裝之前的准備
文件的解壓與改名
tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz
rm -rf spark-2.2.0-bin-hadoop2.7.tgz
為了我后面方便配置spark，在這里我把文件夾的名字給改了
mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0
配置環境變量
vi /etc/profile
在最尾巴加入
export SPARK_HOME=/usr/local/spark-2.2.0
export PATH=$PATH:$SPARK_HOME/bin
配置Spark環境
打開spark-2.2.0文件夾
cd spark-2.2.0
此處需要配置的文件為兩個
spark-env.sh和slaves
首先我們把緩存的文件spark-env.sh.template改為spark識別的文件spark-env.sh
cp conf/spark-env.sh.template conf /spark-env.sh
修改spark-env.sh文件
vi conf/spark-env.sh
在最尾巴加入
export JAVA_HOME=/usr/java/jdk1.8.0_141
export SCALA_HOME=/usr/scala-2.11.7
export HADOOP_HOME=/usr/local/hadoop-2.7.2
export HADOOP_CONF_DIR=/usr/local/hadoop-2.7.2/etc/hadoop
export SPARK_MASTER_IP=SparkMaster
export SPARK_WORKER_MEMORY=4g
export SPARK_WORKER_CORES=2
export SPARK_WORKER_INSTANCES=1
變量說明
- JAVA_HOME：Java安裝目錄
- SCALA_HOME：Scala安裝目錄
- HADOOP_HOME：hadoop安裝目錄
- HADOOP_CONF_DIR：hadoop集群的配置文件的目錄
- SPARK_MASTER_IP：spark集群的Master節點的ip地址
- SPARK_WORKER_MEMORY：每個worker節點能夠最大分配給exectors的內存大小
- SPARK_WORKER_CORES：每個worker節點所占有的CPU核數目
- SPARK_WORKER_INSTANCES：每台機器上開啟的worker節點的數目
修改slaves文件
vi conf/slaves
在最后面修成為
SparkWorker1
SparkWorker2
同步SparkWorker1和SparkWorker2的配置
在此我們使用rsync命令
rsync -av /usr/local/spark-2.2.0/ SparkWorker1:/usr/local/spark-2.2.0/
rsync -av /usr/local/spark-2.2.0/ SparkWorker2:/usr/local/spark-2.2.0/
啟動Spark集群
因為我們只需要使用
hadoop的HDFS文件系統，所以我們並不用把hadoop全部功能都啟動。
啟動hadoop的HDFS文件系統
start-dfs.sh
但是在此會遇到一個情況，就是使用
start-dfs.sh，啟動之后，在SparkMaster已經啟動了namenode，但在SparkWorker1和SparkWorker2都沒有啟動了datanode，這里的原因是：datanode的clusterID和namenode的clusterID不匹配。是因為SparkMaster多次使用了hadoop namenode -format格式化了。
解決的辦法：
在SparkMaster使用
cat /usr/local/hadoop-2.7.2/hdfs/name/current/VERSION
查看clusterID，並將其復制。
在SparkWorker1和SparkWorker2上使用
vi /usr/local/hadoop-2.7.2/hdfs/name/current/VERSION
將里面的clusterID，更改成為SparkMasterVERSION里面的clusterID
做了以上兩步之后，便可重新使用start-dfs.sh開啟HDFS文件系統。
啟動之后使用jps命令可以查看到SparkMaster已經啟動了namenode，SparkWorker1和SparkWorker2都啟動了datanode，說明hadoop的HDFS文件系統已經啟動了。
啟動Spark
因為
hadoop/sbin以及spark/sbin均配置到了系統的環境中，它們同一個文件夾下存在同樣的start-all.sh文件。最好是打開spark-2.2.0，在文件夾下面打開該文件。
./sbin/start-all.sh
成功打開之后使用jps在SparkMaster、parkWorker1和SparkWorker2節點上分別可以看到新開啟的Master和Worker進程。
成功打開Spark集群之后可以進入Spark的WebUI界面，可以通過
SparkMaster_IP:8080
訪問，可見有兩個正在運行的Worker節點。
打開Spark-shell
使用
spark-shell
便可打開Spark的shell
同時，因為shell在運行，我們也可以通過
SparkMaster_IP:4040
訪問WebUI查看當前執行的任務。
結言
到此我們的Spark集群就搭建完畢了。搭建spark集群原來知識網絡是挺龐大的，涉及到Linux基本操作，設計到ssh，設計到hadoop、Scala以及真正的Spark。在此也遇到不少問題，通過翻閱書籍以及查看別人的blog得到了解決。在此感謝分享知識的人。
參見 王家林/王雁軍/王家虎的《Spark 核心源碼分析與開發實戰》
文章出自kwongtai'blog，轉載請標明出處！