Spark運行的4中模式：
Local
Standalone
Yarn
Mesos
一、安裝spark前期准備
1、安裝java
| $ sudo tar -zxvf jdk-7u67-linux-x64.tar.gz -C /opt/service/ |
| export JAVA_HOME=/opt/service/jdk1.7.0_67 export PATH=$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH |
| alternatives --config java alternatives --install /usr/bin/java java /opt/java/jdk1.7.0_67/bin/java 3 alternatives --config java --如果不修改這里，可能在安裝spark組件時報錯。 |
2、安裝scala
| tar -zxvf scala-2.10.4.tgz -C /opt/ 配置環境變量后scala即安裝成功。 |
3、安裝hadoop
參考：http://www.cnblogs.com/wcwen1990/p/6739151.html
4、安裝spark
1）local模式安裝部署
| tar -zxvf spark-1.3.0-bin-2.5.0-cdh5.3.6.tgz -C /opt/cdh-5.3.6/ cd /opt/cdh-5.3.6/ mv spark-1.3.0-bin-2.5.0-cdh5.3.6/ spark-1.3.0 spark安裝local模式安裝成功，通過bin/spark-shell可以進行spark基本操作。 |
| Local模式下spark基本測試： bin/spark-shell scala> sc.textFile("/opt/datas/wc.input") scala> res0.collect scala> sc.stop() scala> exit |
2）standalone模式安裝spark
| tar -zxvf spark-1.3.0-bin-2.5.0-cdh5.3.6.tgz -C /opt/cdh-5.3.6/ cd /opt/cdh-5.3.6/ mv spark-1.3.0-bin-2.5.0-cdh5.3.6/ spark-1.3.0 |
| 編輯slaves文件，添加worker節點： db02 |
| 設置log4j日志，內容默認 |
| 配置spark-env.sh環境變量： JAVA_HOME=/opt/java/jdk1.7.0_67 SCALA_HOME=/opt/scala-2.10.4 HADOOP_CONF_DIR=/opt/cdh-5.3.6/hadoop-2.5.0/etc/hadoop SPARK_MASTER_IP=db02 SPARK_MASTER_PORT=7077 SPARK_MASTER_WEBUI_PORT=8080 SPARK_WORKER_CORES=2 SPARK_WORKER_MEMORY=5g SPARK_WORKER_PORT=7078 SPARK_WORKER_WEBUI_PORT=8081 SPARK_WORKER_INSTANCES=1 SPARK_WORKER_DIR=/opt/cdh-5.3.6/spark-1.3.0/data/tmp |
| 配置spark-defaults.conf文件：不配置此選項運行spark服務還是在local模式下運行。 spark.master spark://db02:7077 ----------------------------------------------------------------------------------------------------------------------------------------- 如果沒有配置此選項，也可以通過bin/spark-shell命令通過指定--master參數指定其運行在哪種模式下，例如： # bin/spark-shell --master spark://db02:7077 或者 # bin/spark-shell --master local |
| 啟動spark： sbin/start-master.sh sbin/start-slaves.sh |
| 此時http://db02:8080/可以登錄web瀏覽器訪問，如下：
|
| 運行bin/spark-shell，可以在web端看到下面任務，這是配置了spark-default.conf文件，否則將看不到任務：
|
| 測試standalone模式spark： bin/hdfs dfs -mkdir -p /user/hadoop/wordcount/input/ bin/hdfs dfs -ls /user/hadoop/wordcount/ Found 1 items drwxr-xr-x - root supergroup 0 2017-05-22 14:47 /user/hadoop/wordcount/input bin/hdfs dfs -put /opt/datas/wc.input /user/hadoop/wordcount/input bin/hdfs dfs -ls /user/hadoop/wordcount/input Found 1 items -rw-r--r-- 3 root supergroup 63 2017-05-22 14:48 /user/hadoop/wordcount/input/wc.input --------------------------------------------------------------------------------------------------------------------------------------- scala> sc.textFile("hdfs://db02:8020/user/hadoop/wordcount/input/wc.input") scala> res0.collect scala> sc.stop() scala> exit |
