spark集群啟動命令和Web端口查看


itcast01上:
啟動hadoop集群:
cd /itcast/hadoop-2.6.0/sbin/
./start-dfs.sh
啟動yarn:
./start-yarn.sh
itcast02上:
啟動resourcemanager
/itcast/hadoop-2.6.0/sbin/yarn-daemon.sh start resourcemanager
itcast01上:
啟動spark集群:
cd /itcast/spark-1.3.1-bin-hadoop2.6/sbin/
./start-all.sh
itcast02上啟動spark備用 master節點
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
itcast01上:啟動spark shell
/itcast/spark-1.3.1-bin-hadoop2.6/sbin/start-master.sh
bin/spark-shell –master

如果配置了SparkHA,比如zookeeper,在使用spark-submit提交任務時,則需要指定兩個master 的信息:spark://itcast01:7077,itcast02:7077

namenode的webUI端口:50070
yarn的web端口:8088
spark集群的web端口:8080
spark-job監控端口:4040


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM