前言
由于个人学习需要，所以来研究一下怎么安装 Spark，但是由于个人的经济资源有限，所以还没有上集群，这里先试一下单机版的 Spark。后期有扩展的话，同步更新集群安装教程。
以下一切操作都基于
root用户。
0. 安装 Scala
0.1 安装前
在安装 Spark 之前需要先安装一下 Scala，因为 Spark 依赖于 Scala。所以我们先安装一下 Scala，先到Scala官网上下载一下 Scala 的压缩包。
然后我们将压缩包上传到 Centos 服务器上，怎么上传这里就不做细说。
我们将压缩包放到 /opt/scala 目录下，然后将其解压。
解压命令
tar -xvf scala-2.12.2.tgz
Bash
Copy
0.2 配置环境变量
在 /etc/profile 中添加环境变量，添加 export SCALA_HOME=/opt/scala/scala-2.12.2 并在 path 中加入 ${SCALA_HOME}/bin:。
下面是我的环境变量。
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/bin:$PATH
Bash
Copy
然后我们可以验证一下 scala:
到这里 scala 安装就完成了，接下来就是 Spark 的安装啦~~~
1. 安装 Spark
1.1 下载以及解压
与 Scala 相同我们先去逛网下载一下包，然后上传到服务器。
同理，我们将压缩包放到 /opt/spark 目录下，然后将其解压。
解压命令
tar -xvf spark-2.4.3-bin-hadoop2.7.tgz
Bash
Copy
1.2 配置环境变量
大同小异，在 /etc/profile 中添加环境变量，添加 export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7 并在 path 中加入 ${SPARK_HOME}/bin:。
下面是我的环境变量。
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export PATH=${JAVA_HOME}/bin:${SPARK_HOME}/bin:${SCALA_HOME}/bin:$PATH
Bash
Copy
1.3 配置 Spark
首先进入到解压文件的 conf 目录下，也就是是 /opt/spark/spark-2.4.3-bin-hadoop2.7/conf/，我们可以看到有一个模板文件，我们 copy 一份。
cp spark-env.sh.template spark-env.sh
Bash
Copy
我们对拷贝的文件进行编辑，加入以下内容：
export JAVA_HOME=/usr/local/java/jdk1.8.0_221
export SCALA_HOME=/opt/scala/scala-2.12.2
export SPARK_HOME=/opt/spark/spark-2.4.3-bin-hadoop2.7
export SPARK_MASTER_IP=learn
export SPARK_EXECUTOR_MEMORY=1G
Bash
Copy
同样我们拷贝一份 slaves
cp slaves.template slaves
Bash
Copy
编辑 slaves，内容为 localhost:
localhost
Bash
Copy
然后我们可以进行测试，/opt/spark/spark-2.4.3-bin-hadoop2.7 在这个目录下执行：
./bin/run-example SparkPi 10
Bash
Copy
在这我们可以看到已经执行成功。
1.4 启动 Spark Shell
跟上面一样也是在 /opt/spark/spark-2.4.3-bin-hadoop2.7 目录下，执行：
./bin/spark-shell
Bash
Copy
我们可以看到以下结果：
到这为止，单机版的 Spark 就安装完毕了~~~