本文是典型分布式系統分析系列的第二篇,關注的是GFS,一個分布式文件存儲系統。在前面介紹MapReduce的時候也提到,MapReduce的原始輸入文件和最終輸出都是存放在GFS上的,GFS保證了數據的可用性與可靠性,那么本文具體看看GFS是怎么做到的。 GFS(Google ...
本文是典型分布式系統分析系列的第四篇,主要介紹 Dynamo,一個在 Amazon 公司內部使用的去中心化的 高可用的分布式 key value 存儲系統。 在典型分布式系統分析系列的第一篇 MapReduce 中提出了本系列主要關心的問題: 系統在性能 可擴展性 可用性 一致性之間的衡量,特別是CAP 系統的水平擴展是如何實現的,是如何分片的 系統的元數據服務器的性能 可用性 系統的副本控制協議 ...
2020-11-09 09:23 1 1084 推薦指數:
本文是典型分布式系統分析系列的第二篇,關注的是GFS,一個分布式文件存儲系統。在前面介紹MapReduce的時候也提到,MapReduce的原始輸入文件和最終輸出都是存放在GFS上的,GFS保證了數據的可用性與可靠性,那么本文具體看看GFS是怎么做到的。 GFS(Google ...
在 《分布式學習最佳實踐:從分布式系統的特征開始(附思維導圖)》一文中,提到學習分布式系統的一個好方法是思考分布式系統要解決的問題,有哪些衡量標准,為了解決這些問題;提出了哪些理論、協議、算法,這些解決辦法各自的優缺點、適用場景;然后再思考,不同的系統是如何解決同一個問題的,比如說數據分片 ...
本文是典型分布式系統分析的第三篇,分析的是Bigtable,一個結構化的分布式存儲系統。 Bigtable作為一個分布式存儲系統,和其他分布式系統一樣,需要保證可擴展、高可用與高性能。與此同時,Bigtable還有應用廣泛的特點(wide applicability),既能滿足對延時敏感 ...
本文轉自InfoQ,原作者:張帆 如果現在讓你闡述一下什么是“分布式系統”,你腦子里第一下跳出來的是什么?我想,此時可以用蘇東坡先生的一句詩,來形象地描述大家對分布式系統的認識: 我覺得每個人腦子里一下子涌現出來的肯定是非常具象的東西,就像下面這些: 一:“分布式系統”等於 ...
當單體應用的性能不能滿足逐漸增長的業務需求時,就出現了分布式系統。接下來的文章中就讓我們看下分布式系統的相關概念。 什么是分布式系統 看了很多文章,感覺很少有文章能把這個概念解釋的既簡單,又清楚的。結合這自己的理解,我對分布式系統的概念做了下面的總結。 關於分布式系統的定義問題,我傾向 ...
一:需要選主的場景 1:服務有多台機器,取其中一台去執行任務。多台機器同時執行會出問題,如將數據庫中狀態為失敗的記錄取出來重新執行,如果多台機器同時執行,會導致一個失敗的任務被多台機器 ...
CAP理論被很多人拿來作為分布式系統設計的金律,然而感覺大家對CAP這三個屬性的認識卻存在不少誤區,那么什么是CAP理論呢?CAP原本是一個猜想,2000年PODC大會的時候大牛Brewer提出的,他認為在設計一個大規模可擴放的網絡服務時候會遇到三個特性:一致性(consistency ...
通信是分布式架構的一個基本問題, 通信是基於通信協議, 通過網絡IO來實現的, 基本的通信協議有TCP,HTTP,UDP等, Java的IO分為BIO,NIO,AIO等, java領域有很多支持通信的技術, 如RMI,MINA,JMS等. 網絡協議 TCP/IP: 五層模型 ...