~/spark/conf/spark-default.conf 配置文件


因為看到我參考的Hadoop/spark集群搭建的文檔中的都沒有對 /spark-default.conf 的配置

合理地對 /spark-default.conf  進行配置,能夠提高執行效率

---------------------------------------------------------------------------------------

 

先cp復制模板文件

然后添加配置信息

 spark.master                       spark://master:7077
 spark.default.parallelism          10
 spark.driver.memory                2g
 spark.serializer                   org.apache.spark.serializer.KryoSerializer
 spark.sql.shuffle.partitions       50



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM