Spark 安裝教程

本文原始地址：https://sitoi.cn/posts/45358.html

安裝環境

• Fedora 29
• openjdk version "1.8.0_191"

安裝步驟

1. 下載 Spark 安裝包
2. 解壓 Spark 安裝包 /opt/spark 目錄
3. 修改 Spark 配置
4. 修改 PySpark 配置

下載 Spark 安裝包

下載地址：http://spark.apache.org/downloads.html

解壓 Spark 安裝包 /opt/spark 目錄

創建 /opt/spark 目錄

sudo mkdir -p /opt/spark

解壓到 /opt/spark 目錄

cd /opt
sudo tar -zxvf ~/Downloads/spark-2.3.0-bin-hadoop2.7.tgz
sudo mv /opt/spark-2.3.0-bin-hadoop2.7 /opt/spark

修改 Spark 配置

修改 Spark 環境變量

sudo vim ~/.bashrc

修改內容

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64
export SPARK_HOME=/opt/spark
export PATH=$SPARK_HOME/bin:$PATH

使環境變量生效

source ~/.bashrc

安裝 PySpark

pip3 install pyspark

修改 PySpark 配置

修改 PySpark 環境變量

sudo vim ~/.bashrc

修改內容

export PYSPARK_PYTHON=python3

使環境變量生效

source ~/.bashrc