如何安裝Spark和Pyspark構建Spark學習環境【MacOs】
* **JDK環境** * **Python環境** * **Spark引擎** * 下載地址:[Apache-Spark官網](http://spark.apache.org/downloads.html) * MacOs下一般安裝在**/usr/local**(也可以安裝在別的地方,不管安裝在哪, 最終都要指定環境變量) * **pyspark端** * 法一 : 從[pyspark下載頁面](https://pypi.org/project/pyspark/#files)下載pyspark源文件安裝 * 法二 : pip install pyspark(如果是python3，就執行pip3 install pyspark) 操作步驟
一. JDK安裝(略)
二. python安裝(略)
三. Spark安裝
- 從Apache-Spark官網下載對應的spark源文件。
- 進入下載的spark文件所對應的目錄下, 執行命令如下,則將spark文件移動到/usr/local目錄下
sudo mv spark-2.4.4-bin-without-hadoop-scala-2.12.tgz /usr/local/spark-2.4.4-bin-without-hadoop-scala-2.12.tgz
- 下載的文件是一個壓縮包, 需要解壓,執行如下命令,即解壓成功
sudo tar -zvxf spark-2.4.4-bin-without-hadoop-scala-2.12.tgz
- 設置環境變量, 執行
vim ~/.bash_profile打開環境變量的配置文件, 添加下面的內容在配置文件里
export SPARK_HOME=/usr/local/spark-2.3.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin
- 執行
source ~/.bash_profile是文件生效
- 輸入pyspark檢測是否生效
