轉自：http://blog.csdn.net/cuidiwhere/article/details/7884545
並行計算：並行計算是相對於串行計算來說的。可分為時間上的並行和空間上的並行。 時間上的並行就是指流水線技術。而空間上的並行則是指用多個處理器並發的執行計算。比如基於CUDA編程。
並行計算的目的就是提供單處理器無法提供的性能（處理器能力或存儲器）。使用多處理器求解單個問題。
總結：並行的主體 -- 處理器。進程/線程級並行。
分布式計算：分布式計算研究怎樣把一個須要非常巨大的計算能力才干解決的問題分成很多小的部分，然后把這些部分分配給很多計算機進行處理，最后把這些計算結果綜合起來得到終於的結果。近期的分布式計算項目已經被用於使用世界各地成千上萬位志願者的計算機的閑置計算能力，通過因特網，能夠分析來自外太空的電訊號。尋找隱蔽的黑洞，並探索可能存在的外星智慧生命等。
總結：並行的主體 -- 計算機；各個計算機並行
並行計算與分布式計算的差別：（1）簡單的理解，並行計算借助並行算法和並行編程語言能夠實現進程級並行（如MPI）和線程級並行（如openMP）。
而分布式計算僅僅是將任務分成小塊到各個計算機分別計算各自執行。（2）粒度方面，並行計算中。處理器間的交互一般非常頻繁，往往具有細粒度和低開銷的特征，而且被覺得是可靠的。而在分布式計算中，處理器間的交互不頻繁。交互特征是粗粒度。而且被覺得是不可靠的。並行計算注重短的執行時間，分布式計算則注重長的正常執行時間。（3）聯系。並行計算和分布式計算兩者是密切相關的。某些特征與程度（處理器間交互頻率）有關，而我們還未對這樣的交叉點（crossover point）進行解釋。還有一些特征則與側重點有關（速度與可靠性），而且我們知道這兩個特性對並行和分布兩類系統都非常重要。
（4）總之。這兩種不同類型的計算在一個多維空間中代表不同但又相鄰的點。
集群計算：計算機集群使將一組松散集成的計算機軟件和/或硬件連接起來高度緊密地協作完畢計算工作。在某種意義上，他們能夠被看作是一台計算機。集群系統中的單個計算機通常稱為節點，通常通過局域網連接，但也有其他的可能連接方式。集群計算機通經常使用來改進單個計算機的計算速度和/或可靠性。
普通情況下集群計算機比單個計算機，比方工作站或超級計算機性價比要高得多。
依據組成集群系統的計算機之間體系結構是否同樣，集群可分為同構與異構兩種。集群計算機按功能和結構能夠分為，高可用性集群（High-availability (HA) clusters）、負載均衡集群（Loadbalancing clusters）、高性能計算集群（High-performance (HPC)clusters）、網格計算（Grid computing）。
- 高可用性集群：通常是指當集群中有某個節點失效的情況下。其上的任務會自己主動轉移到其他正常的節點上。還指能夠將集群中的某節點進行離線維護再上線，該過程並不影響整個集群的執行。
- 負載均衡集群：負載均衡集群執行時，一般通過一個或者多個前端負載均衡器，將工作負載分發到后端的一組server上，從而達到整個系統的高性能和高可用性。
這樣的計算機集群有時也被稱為server群（Server Farm）。
一般高可用性集群和負載均衡集群會使用相似的技術，或同一時候具有高可用性與負載均衡的特點。Linux虛擬server（LVS）項目在Linux操作系統上提供了最經常使用的負載均衡軟件。
- 高性能計算集群： 高性能計算集群採用將計算任務分配到集群的不同計算節點兒提高計算能力。因而主要應用在科學計算領域。
比較流行的HPC採用Linux操作系統和其他一些免費軟件來完畢並行運算。這一集群配置通常被稱為Beowulf集群。這類集群通常執行特定的程序以發揮HPC cluster的並行能力。
這類程序一般應用特定的執行庫, 比方專為科學計算設計的MPI庫。HPC集群特別適合於在計算中各計算節點之間發生大量數據通訊的計算作業。比方一個節點的中間結果或影響到其他節點計算結果的情況。
網格計算：網格計算是分布式計算的一種，也是一種與集群計算非常相關的技術。
假設我們說某項工作是分布式的，那么。參與這項工作的一定不僅僅是一台計算機，而是一個計算機網絡。顯然這樣的“螞蟻搬山”的方式將具有非常強的數據處理能力。網格計算的實質就是組合與共享資源並確保系統安全。網格計算通過利用大量異構計算機的未用資源（CPU周 期和磁盤存儲），將其作為嵌入在分布式電信基礎設施中的一個虛擬的計算機集群，為解決大規模的計算問題提供一個模型。網格計算的焦點放在支持跨管理域計算 的能力。這使它與傳統的計算機集群或傳統的分布式計算相差別。網格計算的目標是解決對於不論什么單一的超級計算機來說仍然大得難以解決的問題，並同一時候保持解決 多個較小的問題的靈活性。這樣。網格計算就提供了一個多用戶環境。
集群計算與網格計算的差別：（1）簡單地，網格與傳統集群的主要差別是網格是連接一組相關並不信任的計算機，它的運作更像一個計算公共設施而不是一個獨立的計算機。網格通常比集群支持很多其他不同類型的計算機集合。
（2）網格本質上就是動態的，集群包含的處理器和資源的數量通常都是靜態的。在網格上，資源則能夠動態出現，資源能夠依據須要加入到網格中或從網格中刪除。（3） 網格天生就是在本地網、城域網或廣域網上進行分布的。網格能夠分布在不論什么地方。而集群物理上都包含在一個位置的同樣地方，通常僅僅是局域網互連。
集群互連技 術能夠產生非常低的網絡延時，假設集群距離非常遠，這可能會導致產生非常多問題。物理臨近和網絡延時限制了集群地域分布的能力，而網格由於動態特性。能夠提供 非常好的高可擴展性。（4）集群僅僅通過添加server滿足增長的需求。
然而，集群的server數量、以及由此導致的集群性能是有限的：互連網絡容量。也就是說假設一味地想通過擴大規模來提高集群計算機的性能。它的性價比會對應下降。這意味着我們不可能無限制地擴大集群的規模。 而網格虛擬出空前的超級計算機，不受規模的限制。成為下一代Internet的發展方向。（5）集群和網格計算是相互補充的。非常多網格都在自己管理的資源中採用了集群。實際上，網格用戶可能並不清楚他的工作負載是在一個遠程的集群上執行的。雖然網格與集群之間存在非常多差別，可是這些差別使它們構成了一個非常重要的關系，由於集群在網格中總有一席之地—— 特定的問題通常都須要一些緊耦合的處理器來解決。然而，隨着網絡功能和帶寬的發展，曾經採用集群計算非常難解決的問題如今能夠使用網格計算技術攻克了。
理解網格固有的可擴展性和集群提供的緊耦合互連機制所帶來的性能優勢之間的平衡是非常重要的。
雲計算：雲計算是最新開始的新概念。它不僅僅是計算等計算機概念，還有運營服務等概念了。它是分布式計算、並行計算和網格計算的發展，或者說是這些概念的商業實現。雲計算不但包含分布式計算還包含分布式存儲和分布式緩存。分布式存儲又包含分布式文件存儲和分布式數據存儲。
雲計算與並行、分布式、網格和集群計算的差別：雲計算是從集群技術發展而來，差別在於集群雖然把多台機器聯了起來，但其某項詳細任務執行的時候還是會被轉發到某台server上，而雲能夠簡單的覺得是任務能夠被切割成多個進程在多台server上並行計算，然后得到結果。優點在於大數據量的操作性能非常好。
雲能夠使用便宜的PCserver ，能夠管理大數據量與大集群，關鍵技術在於能夠對雲內的基礎設施進行動態按需分配與管理。
雲計算與並行計算、分布式計算的差別，以計算機用戶來說，並行計算是由單個用戶完畢的，分布式計算是由多個用戶合作完畢的，雲計算是沒實用戶參與。而是交給網絡還有一端的server完畢的。