为什么spark比mapreduce处理数据快


落地方式不同

mapreduce任务每一次处理完成之后所产生的结果数据只能够保存在磁盘,后续有其他的job需要依赖于前面job的输出结果,这里就只能够进行大量的io操作获取得到,性能就比较低。

spark任务每一次处理的完成之后所产生的结果数据可以保存在内存中,后续有其他的job需要依赖于前面job的输出结果,这里就可以直接从内存中获取得到,大大减少磁盘io操作,性能非常高。

处理方式不同

mapreduce的任务是以进程的方式运行在yarn集群中,比如有100个MapTask要运行,这里就需要开启100个进程。

spark的任务是以线程的方式运行在worker节点的executor进程中,比如有100个MapTask要运行,这里需要开启100线程就可以了,这里还可以这样极端一点:可以只开启一个进程,在这个进程中运行100个线程就ok了。开启一个进程与一个线程的代价(资源调度和时间)是不一样。开启一个进程是远远大于线程所需要的时间。

shuffle操作不同

消除了冗余的MapReduce阶段Hadoop的shuffle操作一定连着完整的MapReduce操作,冗余繁琐。而Spark基于RDD提供了丰富的算子操作,且reduce操作产生shuffle数据,可以缓存在内存中。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM