pyspark啟動與簡單使用----本地模式(local)----shell


在Spark中采用本地模式啟動pyspark的命令主要包含以下參數:
–master:這個參數表示當前的pyspark要連接到哪個master,如果是local[*],就是使用本地模式啟動pyspark,其中,中括號內的星號表示需要使用幾個CPU核心(core);
–jars: 這個參數用於把相關的JAR包添加到CLASSPATH中;如果有多個jar包,可以使用逗號分隔符連接它們;

1比如,要采用本地模式,在4個CPU核心上運行pyspark:

  1.  
    cd ~/app/spark-2.3.0-bin-2.6.0-cdh5.7.0/
  2.  
    ./bin/pyspark --master local[4]

可以在CLASSPATH中添加code.jar,命令如下:

./bin/pyspark --master local[4] --jars code.jar 

查看完整命令方法介紹

./bin/pyspark --help

采用本地模式運行,並且使用本地所有的CPU核心。相當於bin/pyspark–master local[*]

./bin/pyspark


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM