高性能分布式計算與存儲系統設計概要（下篇） （上篇） 在上篇里，我們主要討論了，這個系統怎樣處理大數據的“讀”操作，當然還有一些細節沒有講述。下篇，我們將主要講述，“寫”操作是如何被處理的。我們都知道，如果只有“讀”，那幾乎是不用做任何數據同步的，也不會有 ...

在NoSQL存儲系統中，一般都采用Key-Value的數據類型，Key-Value結構簡單，易於存儲，非常適合分布式NoSQL存儲系統。但簡單的數據類型對業務存儲的數據就有一定的局限性，比如需要存儲列表類型的數據。針對這個問題，系統對Key-Value類型的數據做了一些擴展，支持在一個Key下存儲 ...

在分布式存儲系統中，數據需要分散存儲在多台設備上，數據分片（Sharding）就是用來確定數據在多台存儲設備上分布的技術。數據分片要達到三個目的： 分布均勻，即每台設備上的數據量要盡可能相近； 負載均衡，即每台設備上的請求量要盡可能相近 ...

分布式存儲系統是為了解決單機存儲所存在的容量、性能等瓶頸，以及可用性、擴展性等方面的問題，通過把數據分散存儲在多台存儲設備上，為大規模的存儲應用提供大容量、高性能、高可用、擴展性好的存儲服務。這一系列的文章介紹一種典型的分布式存儲系統的設計和實現，該系統已經服務大量的業務，達到了數百T的存儲 ...

，通常還搭配RAID技術作為冗余方案。分布式系統面臨的問題則要復雜得多。借鑒至RAID技術，有副本，糾 ...

在分布式存儲系統中，系統可用性是最重要的指標之一，需要保證在機器發生故障時，系統可用性不受影響，為了做到這點，數據就需要保存多個副本，並且多個副本要分布在不同的機器上，只要多個副本的數據是一致的，在機器故障引起某些副本失效時，其它副本仍然能提供服務。本文主要介紹數據備份的方式，以及如何保證多個 ...

一言以蔽之：“分” 按業務分。 按層次分。 按讀寫分。 按動靜分。 按流量分（負載均衡）。 按時間分（異步化）。 “分”完以后還要保證系統的整體穩定性，需要的原則： 冗余和災備。 監控。 預案。 限流。 降級。 ...

一、前言 目前數據湖已成為大數據領域的最新熱門話題之一，而什么是數據湖，每家數據平台和雲廠商都有自己的解讀。整體來看，數據湖主要的能力優勢是：集中式存儲原始的、海量的、多來源的、多類型的數據，支持數據的快速加工及計算。相比於傳統的數據倉庫，數據湖對數據有更大的包容性，支持結構化/半結構化/非 ...