花费 7 ms
Spark性能调优之合理设置并行度

Spark性能调优之合理设置并行度 1.Spark的并行度指的是什么? spark作业中,各个stage的task的数量,也就代表了spark作 ...

Sun Mar 12 21:40:00 CST 2017 0 14983
Spark性能调优之Shuffle调优

Spark性能调优之Shuffle调优 • Spark底层shuffle的传输方式是使用netty传输,netty在进行网络传输的过程会申请堆外内存(n ...

Mon Mar 13 00:35:00 CST 2017 0 13451
Spark性能调优之代码方面的优化

Spark性能调优之代码方面的优化 1.避免创建重复的RDD 对性能没有问题,但会造成代码混乱 2.尽可能复用同一个RDD ...

Sun Mar 12 22:15:00 CST 2017 0 4161

 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM