Spark-2.3.3 安裝
-
第一步:[root@head42 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz -C /opt/
-
第二步:創建軟連接
-
[root@head42 spark]# ln -s spark-2.4.3-bin-hadoop2.6/ spark
-
第三步:復制並修改conf目錄下spark-env.sh文件
[root@head42 spark]# cp spark-env.sh.template spark-env.sh export JAVA_HOME=/usr/soft/jdk1.8.0_111 export SCALA_HOME=/usr/soft/scala-2.11.8 export HADOOP_HOME=/usr/soft/hadoop-2.7.3 export HADOOP_CONF_DIR=/usr/soft/hadoop-2.7.3/etc/hadoop export SPARK_MASTER_IP=192.168.10.113 export SPARK_MASTER_PORT=7077 export SPARK_MASTER_WEBUI_PORT=8888
-
第四步:修改sbin目錄下的spark-config.sh
-
export JAVA_HOME=/usr/soft/jdk1.8.0_111/
-
第五步:修改環境變量
-
export SPARK_HOME=/usr/soft/spark-2.3.3-bin-hadoop2.7 export PATH=$PATH:$SPARK_HOME/bin
-
第六步:啟動方式
-
1)先啟動Hadoop
-
2)在spark sbin目錄下: ./start-all.sh
- 3)在bin目錄下:spark-shell
-
4)訪問網址:http://192.168.56.103:8888/
-
這樣就好了哈!