linux CentOS7 安裝spark

 

　　　　上次安裝了scala-2.11.8，這次安裝spark-2.1.0版本

　　1、下載spark-2.1.0

　　　　打開terminal 進入當前用戶目錄 /home/sks

　　　　wget http://d3kbcqa49mib13.cloudfront.net/spark-2.1.0-bin-hadoop2.6.tgz

　　　　

　　2、解壓

　　　　tar -zxvf spark-2.1.0-bin-hadoop2.6.tgz

 　　　　

 

　　　　把spark-2.1.0-bin-hadoop2.6文件夾拷貝到 /usr/local/spark中，沒有目錄創建

　　　　mkdir -p /usr/local/spark

　　　　cp -r spark-2.1.0-bin-hadoop2.6 /usr/local/spark

　　　　

　　3、設置環境變量

　　　　進入根目錄：cd ~

　　　　

　　　　增加以下內容：

　　　　

　　　　export SPARK_HOME=/usr/local/spark/spark-2.1.0-bin-hadoop2.6
　　　　export PATH=$PATH:$SPARK_HOME/bin

　　　　

　　　　輸入：source .bash_profile 

　　　　使環境變量快速生效

　　　　

　　4、驗證安裝成功

　　　　輸入spark-shell

　　　　

　　　　

 

　　　　說明安裝成功

 

 　　5、修改log4j

　　　　看到上面提示信息中有warn

　　　　

　　　  由於Spark core的默認日志級別是warn,所以看到信息不多，現在將Spark安裝目錄的conf文件夾下

 　　　　首先進入conf目錄，

　　　　復制一個文件 cp log4j.properties.template log4j.properties

　　　　然后進入log4j.properties 並將log4j.logger.org.apache.spark.repl.Main=INFO  (把原來的WARN改為INFO,保存即可)

　　　　

 

　　　　然后重新打開spark-shell,可以看到更多的打印信息