scala+hadoop+spark環境搭建

一、JDK環境構建

     在指定用戶的根目錄下編輯.bashrc文件,添加如下部分：

# .bashrc
# Source global definitions
  if [ -f /etc/bashrc ]; then
         . /etc/bashrc
  fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH
export PATH JAVA_HOME

   運行source .bashrc命令讓環境變量生效

二、Scala環境構建

    從http://www.scala-lang.org/download/2.10.4.html上下載Scala正確版本進行安裝，本文以scala-2.12.2.tgz版本為例進行說明：

    編輯.bashrc文件，設置scala環境變量

# .bashrc
# Source global definitions
  if [ -f /etc/bashrc ]; then
         . /etc/bashrc
  fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH

#scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin

export PATH JAVA_HOME
export SCALA_HOME PATH

  我們還可以直接進入scala的環境進行測試,具體操作如下：

  

三、Hadoop環境構建

   Hadoop安裝包可以通過搜索hadoop-2.7.3.tar.gz來查找對應的安裝包，

   單機版hadoop安裝方式請參見：http://www.zhongtiancai.com/post-143.html

   偽分布模式安裝方式請參見：http://www.jianshu.com/p/1e5ba77eb471和http://blog.csdn.net/zhu_xun/article/details/42077311

# .bashrc
# Source global definitions
  if [ -f /etc/bashrc ]; then
         . /etc/bashrc
  fi
# User specific aliases and functions
JAVA_HOME=/data01/java/jdk1.8.0_121
PATH=$JAVA_HOME/bin:$PATH

#scala variables
SCALA_HOME=/data01/spark/scala-2.12.2
PATH=$PATH:$SCALA_HOME/bin

export PATH JAVA_HOME
export SCALA_HOME PATH

#Hadoop Env
export HADOOP_HOME=/data01/spark/hadoop-2.7.3
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

 http://IP:8099   Hadoop集群管理界面

 http://IP:50070 HDFS管理界面

四、Spark環境構建

    修改配置文件vi bashrc，最后一行添加以下代碼

export SPARK_HOME=/home/spark
export PATH=$PATH:$SPARK_HOME/bin

　運行source bashrc使文件立即生效

   運行spark-shell 命令，即可啟動spark單機模式.

   spark-shell啟動時會出現太多的info信息，可以通過修改conf下面的log4j.properties.template=>log4j.properties，然后將其中的log.rootCategory=WARN,console修改成warn，世界也就清凈了.

   配置spark-env.sh，進入spark/conf

#以下添加在末尾
export  SPARK_MASTER_IP=192.168.232.130
export  SPARK_LOCAL_IP=192.168.232.130

 注意：192.168.232.130為本機的ip

 運行spark/sbin/start-all.sh 命令，即可啟動偽分布式模式;

 運行spark/sbin/stop-all.sh 命令，即可停止運行

 另：spark集群的web端口默認為8080,安裝成功后可以通過檢查WebUI：http://IP:8080

  如果需要修改Spark的默認端口號，那么可以將sbin/start-master.sh中的SPARK_MASTER_WEBUI_PORT修改為任意端口號

if [ "$SPARK_MASTER_WEBUI_PORT" = "" ]; then
   SPARK_MASTER_WEBUI_PORT=8888
fi

 

 測試Spark是否安裝成功：可以通過spark/bin/run-example  org.apache.spark.examples.SparkPi來檢測

  Pi is roughly 3.14716

 spark的安裝可以參考：http://www.cnblogs.com/ivictor/p/5135792.html