Spark集群環境搭建——部署Spark集群

在前面我們已經准備了三台服務器，並做好初始化，配置好jdk與免密登錄等。並且已經安裝好了hadoop集群。

如果還沒有配置好的，參考我前面兩篇博客：

Spark集群環境搭建——服務器環境初始化：https://www.cnblogs.com/doublexi/p/15623436.html

Spark集群環境搭建——Hadoop集群環境搭建：https://www.cnblogs.com/doublexi/p/15624246.html

集群規划：

搭建Spark集群

1、下載：

官網地址：http://spark.apache.org/

下載地址：https://www.apache.org/dyn/closer.lua/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

cd /data/apps/shell/software
wget https://dlcdn.apache.org/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz --no-check-certificate

2、解壓安裝：

tar xf spark-3.1.2-bin-hadoop3.2.tgz
mv spark-3.1.2-bin-hadoop3.2 /data/apps/spark-3.1.2

編輯環境變量：

vim /etc/profile
## SPARK_HOME
export SPARK_HOME=/data/apps/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin 

加載使生效：

source /etc/profile

3、修改配置：

進入conf目錄：

cd /data/apps/spark-3.1.2/conf

mv spark-defaults.conf.template spark-defaults.conf
mv spark-env.sh.template spark-env.sh
mv log4j.properties.template log4j.properties

修改slaves文件，添加從機

vim slaves

dev-spark-master-206
dev-spark-slave-171
dev-spark-slave-172

修改spark-defaults.conf

vim spark-defaults.conf 

spark.master                       spark://dev-spark-master-206:7077
spark.serializer                   org.apache.spark.serializer.KryoSerializer
spark.driver.memory                1g

修改spark-env.sh

vim spark-env.sh

export JAVA_HOME=/usr/java/jdk1.8.0_162
export HADOOP_HOME=/data/apps/hadoop-3.2.2/
export HADOOP_CONF_DIR=/data/apps/hadoop-3.2.2/etc/hadoop
export SPARK_DIST_CLASSPATH=$(/data/apps/hadoop-3.2.2/bin/hadoop classpath)
export SPARK_MASTER_HOST=dev-spark-master-206
export SPARK_MASTER_PORT=7077

4、解決與Hadoop沖突

這里要注意，備注：在$HADOOP_HOME/sbin 及 $SPARK_HOME/sbin 下都有 start-all.sh 和 stop-all.sh 文件，如果同時加載到環境變量，會有沖突，我們選擇改掉其中一個：

在輸入 start-all.sh / stop-all.sh 命令時，誰的搜索路徑在前面就先執行誰，此時會產生沖突。

解決方案：

• 刪除一組 start-all.sh / stop-all.sh 命令，讓另外一組命令生效
• 將其中一組命令重命名。如：將 $HADOOP_HOME/sbin 路徑下的命令重命名為：start-all-hadoop.sh / stopall-hadoop.sh
• 將其中一個框架的 sbin 路徑不放在 PATH 中

這里我們選擇第二種方式，修改Hadoop的腳本文件名。

cd /data/apps/hadoop-3.2.2/sbin/
mv start-all.cmd start-all-hadoop.cmd
mv start-all.sh start-all-hadoop.sh
mv stop-all.cmd stop-all-hadoop.cmd 
mv stop-all.sh stop-all-hadoop.sh

5、將spark目錄分發到其他兩個節點：

rsync-script spark-3.1.2/

登錄其他兩個從節點，添加環境變量，並加載

vim /etc/profile

## SPARK_HOME
export SPARK_HOME=/data/apps/spark-3.1.2
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

source /etc/profile

6、啟動集群：（standalone模式）

在master節點上：

start-all.sh

在各個節點用jps查看：

master節點是因為運行了zookeeper和kafka，所以jps多了兩個進程

在web界面查看spark ui：http://192.168.90.206:8080/

7、測試：

運行SparkPi案例測試：

spark-submit --class org.apache.spark.examples.SparkPi /data/apps/spark-3.1.2/examples/jars/spark-examples_2.12-3.1.2.jar 1000

最后能看到這個輸出就表示OK

8、設置history

在hdfs上創建spark-eventlog目錄存放歷史日志：

hdfs dfs -mkdir /spark-eventlog

修改spark-default

# cd /data/apps/spark-3.1.2/conf/
# vim spark-defaults.conf

spark.master                       spark://dev-spark-master-206:7077
spark.serializer                   org.apache.spark.serializer.KryoSerializer
spark.driver.memory                1g
# 加上history server配置
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://dev-spark-master-206:8020/spark-eventlog
spark.eventLog.compress            true

修改spark-env.sh

vim spark-env.sh

export SPARK_HISTORY_OPTS="-Dspark.history.ui.port=18080 -Dspark.history.retainedApplications=50 -Dspark.history.fs.logDirectory=hdfs://dev-spark-master-206:8020/spark-eventlog"

spark.history.retainedApplications。設置緩存Cache中保存的應用程序歷史記錄的個數（默認50），如果超過這個值，舊的將被刪除；

前提條件：啟動hdfs服務（日志寫到HDFS）

啟動historyserver，使用 jps 檢查，可以看見 HistoryServer 進程。如果看見該進程，請檢查對應的日志。

重啟服務：

stop-all.sh
start-all.sh

start-history-server.sh

web查看地址：http://192.168.90.206:18080/

集群模式--Yarn模式（可選）

上面默認是用standalone模式啟動的服務，如果想要把資源調度交給yarn來做，則需要配置為yarn模式：

參考：http://spark.apache.org/docs/latest/running-on-yarn.html

需要啟動的服務：hdfs服務、yarn服務

需要關閉 Standalone 對應的服務(即集群中的Master、Worker進程)，一山不容二虎！

在Yarn模式中，Spark應用程序有兩種運行模式：

• yarn-client。Driver程序運行在客戶端，適用於交互、調試，希望立即看到app的輸出
• yarn-cluster。Driver程序運行在由RM啟動的 AppMaster中，適用於生產環境

二者的主要區別：Driver在哪里

1、關閉 Standalon 模式下對應的服務；開啟 hdfs、yarn、historyserver 服務

2、修改 yarn-site.xml 配置

在 $HADOOP_HOME/etc/hadoop/yarn-site.xml 中增加，分發到集群，重啟 yarn 服務

# vim /data/apps/hadoop-3.2.2/etc/hadoop/yarn-site.xml 
<property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
</property>
<property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
</property>

備注：

yarn.nodemanager.pmem-check-enabled。是否啟動一個線程檢查每個任務正使用的物理內存量，如果任務

超出分配值，則直接將其殺掉，默認是true

yarn.nodemanager.vmem-check-enabled。是否啟動一個線程檢查每個任務正使用的虛擬內存量，如果任務

超出分配值，則直接將其殺掉，默認是true

3、修改配置，分發到集群

# spark-env.sh 中這一項必須要有
# cd /data/apps/spark-3.1.2/conf
export HADOOP_CONF_DIR=/data/apps/hadoop-3.2.2/etc/hadoop

# spark-default.conf(以下是優化)
# 與 hadoop historyserver集成
# vim spark-defaults.conf
spark.yarn.historyServer.address   dev-spark-master-206:18080
spark.yarn.jars                    hdfs:///spark-yarn/jars/*.jar

# 將 $SPARK_HOME/jars 下的jar包上傳到hdfs

cd /data/apps/spark-3.1.2/jars
hdfs dfs -mkdir -p /spark-yarn/jars/
hdfs dfs -put * /spark-yarn/jars/

4、測試：

記得，先把Master與worker進程停掉，否則會走standalone模式

# 停掉standalone模式
stop-all.sh

client模式測試

# client
spark-submit --master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000

在提取App節點上可以看見：SparkSubmit、YarnCoarseGrainedExecutorBackend

在集群的其他節點上可以看見：YarnCoarseGrainedExecutorBackend

在提取App節點上可以看見：程序計算的結果（即可以看見計算返回的結果）

# cluster
spark-submit --master yarn \
--deploy-mode cluster \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000

在提取App節點上可以看見：SparkSubmit

在集群的其他節點上可以看見：YarnCoarseGrainedExecutorBackend、ApplicationMaster(Driver運行在此)

在提取App節點上看不見最終的結果

整合HistoryServer服務

前提：Hadoop的 HDFS、Yarn、HistoryServer 正常；Spark historyserver服務正常；

Hadoop：JobHistoryServer

Spark：HistoryServer

修改 spark-defaults.conf，並分發到集群

# vim spark-defaults.conf
spark.master                       spark://dev-spark-master-206:7077
spark.eventLog.enabled             true
spark.eventLog.dir                 hdfs://dev-spark-master-206:8020/spark-eventlog
spark.eventLog.compress            true
spark.serializer                   org.apache.spark.serializer.KryoSerializer
spark.driver.memory                1g

spark.yarn.historyServer.address   dev-spark-master-206:18080
spark.history.ui.port              18080
spark.yarn.jars                    hdfs:///spark-yarn/jars/*.jar

發送到其他兩台機器：

rsync-script spark-defaults.conf

重啟/啟動 spark 歷史服務

stop-history-server.sh
start-history-server.sh

測試：

# client
spark-submit --master yarn \
--deploy-mode client \
--class org.apache.spark.examples.SparkPi \
$SPARK_HOME/examples/jars/spark-examples_2.12-3.1.2.jar 2000

登錄yarn的地址：http://192.168.90.172:8088/

點擊history會自動跳轉到spark的history頁面：

至此，spark集群搭建完成。