~/spark/conf/spark-default.conf 配置文件


因为看到我参考的Hadoop/spark集群搭建的文档中的都没有对 /spark-default.conf 的配置

合理地对 /spark-default.conf  进行配置,能够提高执行效率

---------------------------------------------------------------------------------------

 

先cp复制模板文件

然后添加配置信息

 spark.master                       spark://master:7077
 spark.default.parallelism          10
 spark.driver.memory                2g
 spark.serializer                   org.apache.spark.serializer.KryoSerializer
 spark.sql.shuffle.partitions       50



免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM