高性能分布式計算與存儲系統設計概要（上篇）
高性能分布式計算與存儲系統設計概要（上篇） 2012年底，末日之后，看到大家都在寫年末總結，我也忍不住想一試。工作已經3年半了，頭一次寫總結。雖然到現在仍是無名小碼農一名，但工作這些年，技術着實有不少積累。成長最大的，當然就是這篇文章標題提到的——高性能分布式計算 ...
原文：高性能分布式計算與存儲系統設計概要（下篇）
高性能分布式計算與存儲系統設計概要 下篇 上篇 在上篇里，我們主要討論了，這個系統怎樣處理大數據的 讀 操作，當然還有一些細節沒有講述。下篇，我們將主要講述， 寫 操作是如何被處理的。我們都知道，如果只有 讀 ，那幾乎是不用做任何數據同步的，也不會有並發安全問題，之所以，會產生這樣那樣的問題，會導致緩存和數據庫的數據不一致，其實根源就在於 寫 操作的存在。下面，讓我們看一看，當系統需要寫一條數據的 ...
2012-12-29 00:02 48 9591 推薦指數：
相關推薦
分布式存儲系統設計（3）—— 存儲結構
在NoSQL存儲系統中，一般都采用Key-Value的數據類型，Key-Value結構簡單，易於存儲，非常適合分布式NoSQL存儲系統。但簡單的數據類型對業務存儲的數據就有一定的局限性，比如需要存儲列表類型的數據。針對這個問題，系統對Key-Value類型的數據做了一些擴展，支持在一個Key下存儲 ...
分布式存儲系統設計（2）—— 數據分片
在分布式存儲系統中，數據需要分散存儲在多台設備上，數據分片（Sharding）就是用來確定數據在多台存儲設備上分布的技術。數據分片要達到三個目的： 分布均勻，即每台設備上的數據量要盡可能相近； 負載均衡，即每台設備上的請求量要盡可能相近 ...
分布式存儲系統設計（1）—— 系統架構
分布式存儲系統是為了解決單機存儲所存在的容量、性能等瓶頸，以及可用性、擴展性等方面的問題，通過把數據分散存儲在多台存儲設備上，為大規模的存儲應用提供大容量、高性能、高可用、擴展性好的存儲服務。這一系列的文章介紹一種典型的分布式存儲系統的設計和實現，該系統已經服務大量的業務，達到了數百T的存儲 ...
分布式存儲系統設計的幾個問題和考慮點
，通常還搭配RAID技術作為冗余方案。分布式系統面臨的問題則要復雜得多。借鑒至RAID技術，有副本，糾 ...
分布式存儲系統設計（4）—— 備份容災
在分布式存儲系統中，系統可用性是最重要的指標之一，需要保證在機器發生故障時，系統可用性不受影響，為了做到這點，數據就需要保存多個副本，並且多個副本要分布在不同的機器上，只要多個副本的數據是一致的，在機器故障引起某些副本失效時，其它副本仍然能提供服務。本文主要介紹數據備份的方式，以及如何保證多個 ...
分布式系統：高性能系統設計原則
一言以蔽之：“分” 按業務分。 按層次分。 按讀寫分。 按動靜分。 按流量分（負載均衡）。 按時間分（異步化）。 “分”完以后還要保證系統的整體穩定性，需要的原則： 冗余和災備。 監控。 預案。 限流。 降級。 ...
GlusterFS分布式存儲系統
GlusterFS分布式存儲系統 一，分布式文件系統理論基礎 1.1 分布式文件系統出現 計算機通過文件系統管理，存儲數據，而現在數據信息爆炸的時代中人們可以獲取的數據成指數倍的增長，單純通過增加硬盤個數來擴展計算機文件系統的存儲容量的方式 ...