Ubuntu - 安裝Spark3.0.0

目標：在Ubuntu20.04上安裝單機版Spark3.0，步驟如下：

1 下載Scala 2.12並安裝

創建保存的路徑並解壓到指定文件夾

sudo mkdir /opt/scala  
sudo tar -zxvf scala-2.12.0.tgz -C /opt/scala

添加環境變量

vim ~/.bashrc

export PATH=/opt/scala/scala-2.12.0/bin:$PATH
export SCALA_HOME=/opt/scala/scala-2.12.0

驗證

scala -version

 

注意版本相對應：

 

2 下載spark-3.0.0-bin-hadoop3.2 .tgz

 前提是安裝了sunjdk11.0.8

 解壓並釋放到/usr/local/spark下

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
sudo mkdir /usr/local/spark
sudo mv ./spark-3.0.0-bin-hadoop3.2/* /usr/local/spark

cd /usr/local/spark/bin
./pyspark

lines = sc.textFile("/usr/local/spark/README.md")
lines.count()  
lines.first()

這樣就啟動spark啦，並且使用sc讀取文件，統計文字和顯示第一行內容。

或者：

 

使用自帶的Spark Shell測試：

./spark-shell

效果如下：

 

 查看當前節點運行情況

./sbin/spark-all.sh

 

出現JAVA_HOME is not set，解決方法，在spark-all.sh中添加JAVA_HOME

export JAVA_HOME=/usr/lib/jvm/jdk-11.0.8

然后在瀏覽器中輸入：http://localhost:8080

就可以看到下圖所示內容：

 

參考：

Ubuntu下如何解壓縮zip,tar,tar.gz,tar.bz2文件

在ubuntu上搭建spark （單機環境）

http://spark.apache.org/docs/latest/quick-start.html