前言
由於個人學習需要，所以來研究一下怎么安裝 Spark，但是由於個人的經濟資源有限，所以還沒有上集群，這里先試一下單機版的 Spark。后期有擴展的話，同步更新集群安裝教程。
以下一切操作都基於
root用戶。
0. 安裝 Scala
0.1 安裝前
在安裝 Spark 之前需要先安裝一下 Scala，因為 Spark 依賴於 Scala。所以我們先安裝一下 Scala，先到Scala官網上下載一下 Scala 的壓縮包。
然后我們將壓縮包上傳到 Centos 服務器上，怎么上傳這里就不做細說。
我們將壓縮包放到 /opt/scala 目錄下，然后將其解壓。
解壓命令
tar -xvf scala-2.12.2.tgz
Bash
Copy
0.2 配置環境變量
在 /etc/profile 中添加環境變量，添加 export SCALA_HOME=/opt/scala/scala-2.12.2 並在 path 中加入 ${SCALA_HOME}/bin:。
下面是我的環境變量。
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH
Bash
Copy
然后我們可以驗證一下 scala:
到這里 scala 安裝就完成了，接下來就是 Spark 的安裝啦~~~
1. 安裝 Spark
1.1 下載以及解壓
與 Scala 相同我們先去逛網下載一下包，然后上傳到服務器。
同理，我們將壓縮包放到 /opt/spark 目錄下，然后將其解壓。
解壓命令
tar -xvf spark-2.4.3-bin-hadoop2.7.tgz
Bash
Copy
1.2 配置環境變量
大同小異，在 /etc/profile 中添加環境變量，添加 export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7 並在 path 中加入 ${SPARK_HOME}/bin:。
下面是我的環境變量。
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
Bash
Copy
1.3 配置 Spark
首先進入到解壓文件的 conf 目錄下，也就是是 /opt/spark/spark-2.4.3-bin-hadoop2.7/conf/，我們可以看到有一個模板文件，我們 copy 一份。
cp spark-env.sh.template spark-env.sh
Bash
Copy
我們對拷貝的文件進行編輯，加入以下內容：
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G
Bash
Copy
同樣我們拷貝一份 slaves
cp slaves.template slaves
Bash
Copy
編輯 slaves，內容為 localhost:
localhost
Bash
Copy
然后我們可以進行測試，/opt/spark/spark-2.4.3-bin-hadoop2.7 在這個目錄下執行：
./bin/run-example SparkPi 10
Bash
Copy
在這我們可以看到已經執行成功。
1.4 啟動 Spark Shell
跟上面一樣也是在 /opt/spark/spark-2.4.3-bin-hadoop2.7 目錄下，執行：
./bin/spark-shell
Bash
Copy
我們可以看到以下結果：
到這為止，單機版的 Spark 就安裝完畢了~~~