spark 調優參數


最近用到spark 接kafka數據落到kudu里,如果用默認spark 參數,會出現一些問題,下面是在生產上調優后的一些參數,供參考

//推測執行
spark.locality.wait=2s
spark.speculation=true
spark.speculation.interval=300s
spark.speculation.quantile=0.9
spark.speculation.multiplier=1.5

//常見配置
spark.executor.memory=4000M
spark.executor.cores=1
spark.executor.instances=12
spark.streaming.concurrentJobs=1

//反壓
spark.streaming.backpressure.enable=true
spark.streaming.backpressure.initialRate=30000
spark.streaming.kafka.maxRatePerPartition=1000


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM