因為看到我參考的Hadoop/spark集群搭建的文檔中的都沒有對 /spark-default.conf 的配置
合理地對 /spark-default.conf 進行配置,能夠提高執行效率
---------------------------------------------------------------------------------------
先cp復制模板文件
然后添加配置信息
spark.master spark://master:7077
spark.default.parallelism 10
spark.driver.memory 2g
spark.serializer org.apache.spark.serializer.KryoSerializer
spark.sql.shuffle.partitions 50