在Spark中采用本地模式啟動pyspark的命令主要包含以下參數:
–master:這個參數表示當前的pyspark要連接到哪個master,如果是local[*],就是使用本地模式啟動pyspark,其中,中括號內的星號表示需要使用幾個CPU核心(core);
–jars: 這個參數用於把相關的JAR包添加到CLASSPATH中;如果有多個jar包,可以使用逗號分隔符連接它們;
1比如,要采用本地模式,在4個CPU核心上運行pyspark:
-
cd ~/app/spark-2.3.0-bin-2.6.0-cdh5.7.0/
-
./bin/pyspark --master local[4]
可以在CLASSPATH中添加code.jar,命令如下:
./bin/pyspark --master local[4] --jars code.jar
查看完整命令方法介紹
./bin/pyspark --help
采用本地模式運行,並且使用本地所有的CPU核心。相當於bin/pyspark–master local[*]
./bin/pyspark