向Spark集群提交任務

1.啟動spark集群。

　　啟動Hadoop集群

1. cd /usr/local/hadoop/
2. sbin/start-all.sh

　　啟動Spark的Master節點和所有slaves節點

1. cd /usr/local/spark/
2. sbin/start-master.sh
3. sbin/start-slaves.sh

2.standalone模式：

　　向獨立集群管理器提交應用，需要把spark：//master:7077作為主節點參數遞給spark-submit。下面我們可以運行Spark安裝好以后自帶的樣例程序SparkPi，它的功能是計算得到pi的值（3.1415926）。

　　在Shell中輸入如下命令：

　　bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://master:7077 examples/jars/spark-examples_2.11-2.0.2.jar 100 2>&1 | grep "Pi is roughly"

　　　　　　

　　　　　　

 

3.hadoop yarn 管理模式:

　　向Hadoop YARN集群管理器提交應用，需要把yarn-cluster作為主節點參數遞給spark-submit。請登錄Linux系統，打開一個終端，在Shell中輸入如下命令：

　　bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn-cluster examples/jars/spark-examples_2.11-2.0.2.jar

　　

 　　輸入途中的urI，即可查看任務進程。