Spark-submit用法


spark-submit -h 查看用法

spark-submit -h

Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

常見的[options] 如下表:

“--master”參數解釋如下表:

蒙特卡羅(Monte Carlo)方法計算圓周率

正方形內部有一個相切的圓,它們的面積之比是π/4,如果點均勻分布,那么圓內的點應該占到所有點的 π/4。

執行下面幾種方式。
注意:在運行后注意打開網頁http://[IP地址]:8080,查看是否有應用程序(Application)。
以下路徑名字根據自己ubantu更換

  • 方式一:沒有指定“--master”

spark-submit --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

  • 方式二:指定“--master”為local

spark-submit --master local --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

  • 方式三:指定“--master”為local[2]

spark-submit --master local[2] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

  • 方式四:指定“--master”為local[*]

spark-submit --master local[*] --class org.apache.spark.examples.SparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

  • 方式五:指定“--master”為spark://hostname:7077

spark-submit --master spark://node1:7077 --class org.apache.spark.examples.JavaSparkPi /home/hadoop/spark/examples/jars/spark-examples_2.11-2.4.0.jar 100

  • 方式六:運行py文件

spark-submit --master spark://node1:7077 /home/hadoop/spark/examples/src/main/python/pi.py 100


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM