【Tool】Linux下的Spark安裝及使用

1. 確保自己的電腦安裝了JAVA Development Kit JDK, 用來編譯Java應用, 如 Apache Ant, Apache Maven, Eclipse. 這里是我們安裝Spark的支持環境.

　查看自己是否安裝了JDK: java -version

　這里我已經安裝了所以顯示的是JDK的版本信息, 如果沒有安裝則顯示"The program java can be found in the following packages"  

 

2. 安裝好Java環境之后可以在Spark官網上下載自己要的Spark版本:  http://spark.apache.org/downloads.html 

　下載之后解壓縮: tar -xf    spark-***-bin-hadoop**.tgz(對應着你下載的版本號)

3. 更新profile文件:  sudo vi ~/etc/profile  在后面加入:　

 

SPARK_HOME=/home/vincent/Downloads/spark 
#（解壓后的包所在的路徑, 這里我將解壓后的Spark重新命名為spark了）
PATH=$PATH:${SPARK_HOME}/bin

4. 進入spark安裝位置, 然后進入spark中的 bin 文件夾

運行: ./bin/spark-shell   運行scala

 運行: ./bin/pyspark    (python)

 5. 調整日志級別控制輸出的信息量:

 在conf目錄下將log4j.properties.template 復制為  log4j.properties, 然后找到 log4j.rootCategory = INFO, console

將INFO改為WARN (也可以設置為其他級別)

之后再打開shell輸入信息量會減少.