MapReduce\Tez\Storm\Spark四个框架的异同


1) MapReduce:是一种离线计算框架,将一个算法抽象成Map和Reduce两个阶段进行

处理,非常适合数据密集型计算。

2) Spark:MapReduce计算框架不适合迭代计算和交互式计算,MapReduce是一种磁盘

计算框架,而Spark则是一种内存计算框架,它将数据尽可能放到内存中以提高迭代

应用和交互式应用的计算效率。

3) Storm:MapReduce也不适合进行流式计算、实时分析,比如广告点击计算等,而

Storm则更擅长这种计算、它在实时性要远远好于MapReduce计算框架。

4)Tez: 运行在YARN之上支持DAG作业的计算框架,对MapReduce数据处理的归纳。它

把Map/Reduce过程拆分成若干个子过程,同时可以把多个Map/Reduce任务组合成一个

较大的DAG任务,减少了Map/Reduce之间的文件存储。同时合理组合其子过程,也可

以减少任务的运行时间。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM