spark-submit -h 查看用法
spark-submit -h
Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

常見的[options] 如下表:

“--master”參數解釋如下表:

蒙特卡羅(Monte Carlo)方法計算圓周率
正方形內部有一個相切的圓,它們的面積之比是π/4,如果點均勻分布,那么圓內的點應該占到所有點的 π/4。
執行下面幾種方式。
注意:在運行后注意打開網頁http://[IP地址]:8080,查看是否有應用程序(Application)。
以下路徑名字根據自己ubantu更換
- 方式一:沒有指定“--master”
spark-submit --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100
- 方式二:指定“--master”為local
spark-submit --master local --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100
- 方式三:指定“--master”為local[2]
spark-submit --master local[2] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100
- 方式四:指定“--master”為local[*]
spark-submit --master local[*] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100
- 方式五:指定“--master”為spark://hostname:7077
spark-submit --master spark://node1:7077 --class org.apache.spark.examples.JavaSparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100
- 方式六:運行py文件
spark-submit --master spark://node1:7077 /home/hadoop/spark/examples/src/main/python/pi.py 100

