Spark安裝（單機版）

1. 下載安裝

官網下載

選擇版本和type，這里為 spark-2.4.4-bin-without-hadoop.tgz

1.1 命令下載：

cd ~/software
wget http://apache.communilink.net/spark/spark-2.4.4/spark-2.4.4-bin-without-hadoop.tgz

1.2 解壓重命名

tar -xzvf spark-2.4.4-bin-without-hadoop.tgz
mv spark-2.4.4-bin-without-hadoop.tgz spark

1.3 配置環境變量

使用vim編輯~/.bashrc文件，加入以下配置(目錄換成自己的安裝目錄）：

export SPARK_HOME=/software/spark 
export PATH=$PATH:$SPARK_HOME/bin

使用source命令使配置生效： source ~/.bashrc

可以使用echo $PATH 輸出查看是否正確

2. 簡單配置

2.1 安裝scala並配置環境變量

2.2 配置spark-env.sh變量環境

位置： $SPARK_HOME/conf/spark-env.sh.template

命令：

cd /software/spark/conf
# 復制並重命名
cp spark-env.sh.template spark-env.sh
vim spark-env.sh

配置：

# hadoop java scala等須安裝好並配置好 環境變量
export JAVA_HOME=/usr/local/java/jdk1.8
export SCALA_HOME=/software/scala
export SPARK_HOME=/software/spark
# 單機版配置為本機 ip
export SPARK_MASTER_IP=127.0.0.1
export SPARK_EXECUTOR_MEMORY=1G
export SPARK_DIST_CLASSPATH=$(hadoop classpath)

2.3 配置slaves

文件位置： $SPARK_HOME/conf/slaves.template

命令：

cd /software/spark/conf
# 復制並重命名
cp slaves.template slaves
vim slaves

配置：

localhost

2.4 執行示例程序

在 $SPARK_HOME/examples/src/main 目錄下有一些 Spark 的示例程序，有 Scala、Java、Python、R 等語言的版本。我們可以先運行一個示例程序 SparkPi（即計算 π 的近似值），執行如下命令：

[root@VM_0_8_centos spark]# ./bin/run-example SparkPi 2>&1 | grep "Pi is roughly"
Pi is roughly 3.1369756848784243
[root@VM_0_8_centos spark]# 

注：執行時會輸出非常多的運行信息，輸出結果不容易找到，可以通過 grep 命令進行過濾（命令中的 2>&1 可以將所有的信息都輸出到 stdout 中，否則由於輸出日志的性質，還是會輸出到屏幕中）：

2.5 啟動/停止：

# 啟動shell
spark-shell

# 關閉
ctrl+d

Tips:常見錯誤

參見