centos7下安裝pyspark

1、安裝python

2、安裝jdk

3、下載spark：http://spark.apache.org/downloads.html, 下載新版（spark-2.3.1-bin-hadoop2.7.tar)

4、解壓到合適的目錄，我放在了/usr/lyl/spark下,采用的命令為：tar zxvf usr/lyl/spark-2.3.1-bin-hadoop2.7.tar usr/lyl/spark

5、在 /etc/profile 下配置環境變量，即加入以下：

export SPARK_HOME=/usr/lyl/spark-2.3.1-bin-hadoop2.7
export PATH=$SPARK_HOME/bin:$PATH
export PYTHONPATH=$SPARK_HOME/python:$SPARK_HOME/python/lib/py4j-0.10.4-src.zip:$PYTHONPATH

6、source /etc/profile

7、輸入命令：pyspark，查看pyspark是否啟動。如看到以下界面，即安裝成功。