MapReduce\Tez\Storm\Spark四個框架的異同


1) MapReduce:是一種離線計算框架,將一個算法抽象成Map和Reduce兩個階段進行

處理,非常適合數據密集型計算。

2) Spark:MapReduce計算框架不適合迭代計算和交互式計算,MapReduce是一種磁盤

計算框架,而Spark則是一種內存計算框架,它將數據盡可能放到內存中以提高迭代

應用和交互式應用的計算效率。

3) Storm:MapReduce也不適合進行流式計算、實時分析,比如廣告點擊計算等,而

Storm則更擅長這種計算、它在實時性要遠遠好於MapReduce計算框架。

4)Tez: 運行在YARN之上支持DAG作業的計算框架,對MapReduce數據處理的歸納。它

把Map/Reduce過程拆分成若干個子過程,同時可以把多個Map/Reduce任務組合成一個

較大的DAG任務,減少了Map/Reduce之間的文件存儲。同時合理組合其子過程,也可

以減少任務的運行時間。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM