大數據+並行計算+分布式計算知識點整理

1、請簡要介紹一下Hadoop、Spark、MPI三種計算框架的特點以及分別適用什么樣的場景？

Hadoop：基於分布式文件系統HDFS的分布式批處理計算框架，適用於數據量大、SPMD（單程序多數據）的應用

Spark：基於內存計算的並行計算框架，適用於需要迭代多輪計算的應用

MPI：基於消息傳遞的並行計算框架，適用於各種復雜應用的並行計算，支持MPMD（多程序多數據），開發復雜度高。