开源分布式计算框架比较


    目前,比较流行的开源分布式计算框架主要有Hadoop MapReduce,Spark Streaming,Storm。这三个框架各有千秋,适合不同的场景。本文对三种框架进行多方面的简单比较。

    --->  Hadoop MapReduce    

            Hadoop MapReduce使用于大批量的集群任务,由于批量执行,故其时效性比较差。原生Java语言开发。

  --->   Spark Streaming

    Spark Streaming保留了Hadoop MapReduce的优点,其时效性有了很大提高。计算过程中,中间结果可以保存在内存中,从而对需要迭代计算和有较高时效性要求的系统提供很好的支持,多用于能容忍小延时的推荐和计算系统。

  ---> Storm

    Storm 一开始就是为实时处理设计,因此在实时分析/性能监测等需要高时效性的领域广泛采用,而且它理论上支持所有语言,只需要少量代码即可完成适配器。

 

下面的表格是对三者部分特性的比较,描述时间为 2015-5-3,三个项目均处于快速迭代中,文中描述特性会随时产生变化,如果与官方文档产生出入以官方文档为准。

 

参考:

  http://www.36dsj.com/archives/34666。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM