spark 2.3.3 安裝


Spark-2.3.3 安裝

  • 第一步:[root@head42 spark]# tar -zxvf spark-2.4.3-bin-hadoop2.6.tgz -C /opt/

  • 第二步:創建軟連接

  • [root@head42 spark]# ln -s spark-2.4.3-bin-hadoop2.6/ spark

  • 第三步:復制並修改conf目錄下spark-env.sh文件

    [root@head42 spark]# cp spark-env.sh.template spark-env.sh
    export JAVA_HOME=/usr/soft/jdk1.8.0_111
    export SCALA_HOME=/usr/soft/scala-2.11.8
    export HADOOP_HOME=/usr/soft/hadoop-2.7.3
    export HADOOP_CONF_DIR=/usr/soft/hadoop-2.7.3/etc/hadoop
    export SPARK_MASTER_IP=192.168.10.113
    export SPARK_MASTER_PORT=7077
    export SPARK_MASTER_WEBUI_PORT=8888
    
  • 第四步:修改sbin目錄下的spark-config.sh

  • export JAVA_HOME=/usr/soft/jdk1.8.0_111/
    
  • 第五步:修改環境變量

  • export SPARK_HOME=/usr/soft/spark-2.3.3-bin-hadoop2.7
    export PATH=$PATH:$SPARK_HOME/bin
    
  • 第六步:啟動方式

  • 1)先啟動Hadoop

  • 2)在spark sbin目錄下: ./start-all.sh

  • 3)在bin目錄下:spark-shell
  • 4)訪問網址:http://192.168.56.103:8888/

  • 這樣就好了哈!


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM