MongoDB分片原理篇


MongoDB分片

為什么需要Sharded cluster?

MongoDB目前3大核心優勢:『靈活模式』+ 『高可用性』 + 『可擴展性』,通過json文檔來實現靈活模式,通過復制集來保證高可用,通過Sharded cluster來保證可擴展性。

何時使用分片技術

存儲容量需求超出單機磁盤容量
活躍的數據集超出單機內存容量,導致很多請求都要從磁盤讀取數據,影響性能
寫IOPS超出單個MongoDB節點的寫服務能力

分片技術,使得集合中的數據分散到多個分片集中。使得MongoDB具備橫向的發展。


###Sharded cluster 分片架構 **Sharded cluster**由**Shard**、**Mongos**和**Config server** 3個組件構成。 ![](http://images2015.cnblogs.com/blog/758999/201705/758999-20170530143454852-456379210.png)

MongosSharded cluster的訪問入口,
Mongos本身並不持久化數據,Sharded cluster所有的元數據都會存儲到Config Server
而用戶的數據則會分散存儲到各個shardMongos啟動后,會從config server加載元數據,開始提供服務,將用戶的請求正確路由到對應的Shard

數據分布策略

分片支持單個集合的數據分散在多個分片上。目前主要有兩種數據分片的策略。

  • 范圍分片(Range based sharding)
  • hash分片(Hash based sharding)

范圍分片

如圖,集合是根據字段來進行分片。根據字段的范圍不同將一個集合的數據存儲在不同的分片中。
在同一個Shard上,每個Shard可以存儲很多個chunkchunk存儲在哪個shard的信息會存儲在Config server種,mongos也會根據各個shard上的chunk的數量來自動做負載均衡
范圍分片適合滿足在一定范圍內的查找,例如查找X的值在【100-200】之間的數據,mongo 路由根據Config server中存儲的元數據,可以直接定位到指定的shard的Chunk中
缺點 如果shardkey有明顯遞增(或者遞減)趨勢,則新插入的文檔多會分布到同一個chunk,無法擴展寫的能力

Hash分片

Hash分片是根據用戶的shard key計算hash值(64bit整型),根據hash值按照『范圍分片』的策略將文檔分布到不同的chunk

優點Hash分片與范圍分片互補,能將文檔隨機的分散到各個chunk,充分的擴展寫能力,彌補了范圍分片的不足,
缺點但不能高效的服務范圍查詢,所有的范圍查詢要分發到后端所有的Shard才能找出滿足條件的文檔。

合理的選擇shard key

選擇shard key時,要根據業務的需求及『范圍分片』和『Hash分片』2種方式的優缺點合理選擇,要根據字段的實際原因對數據進行分片,否則會產生過大的Chunk

Mongos

Mongos作為Sharded cluster的訪問入口,所有的請求都由mongos來路由、分發、合並,這些動作對客戶端driver透明,用戶連接mongos就像連接mongod一樣使用。

查詢請求

  • 查詢請求不包含shard key,則必須將查詢分發到所有的shard,然后合並查詢結果返回給客戶端
  • 查詢請求包含shard key,則直接根據shard key計算出需要查詢的chunk,向對應的shard發送查詢請求

寫請求

寫操作必須包含shard key,mongos根據shard key算出文檔應該存儲到哪個chunk,然后將寫請求發送到chunk所在的shard。

更新/刪除請求

更新、刪除請求的查詢條件必須包含shard key或者_id,如果是包含shard key,則直接路由到指定的chunk,如果只包含_id,則需將請求發送至所有的shard。

其他命令請求


###Config Server ####config database Config server存儲Sharded cluster的所有元數據,所有的元數據都存儲在config數據庫 Config Server可部署為一個獨立的復制集,極大的方便了Sharded cluster的運維管理。 ####config.shards config.shards集合存儲各個Shard的信息,可通過addShard、removeShard命令來動態的從Sharded cluster里增加或移除shard ####config.databases config.databases集合存儲所有數據庫的信息,包括DB是否開啟分片,primary shard信息,對於數據庫內沒有開啟分片的集合,所有的數據都會存儲在數據庫的primary shard上。 ####config.colletions 數據分片是針對集合維度的,某個數據庫開啟分片功能后,如果需要讓其中的集合分片存儲,則需調用shardCollection命令來針對集合開啟分片。 ####config.chunks 集合分片開啟后,默認會創建一個新的chunk,shard key取值[minKey, maxKey]內的文檔(即所有的文檔)都會存儲到這個chunk。當使用Hash分片策略時,也可以預先創建多個chunk,以減少chunk的遷移。 ####config.settings config.settings集合里主要存儲sharded cluster的配置信息,比如chunk size,是否開啟balancer等 ####其他集合 - config.tags主要存儲sharding cluster標簽(tag)相關的你洗 - config.changelog主要存儲sharding cluster里的所有變更操作,比如balancer遷移chunk的動作就會記錄到changelog里 - config.mongos存儲當前集群所有mongos的信息 - config.locks存儲鎖相關的信息,對某個集合進行操作時,比如moveChunk,需要先獲取鎖,避免多個mongos同時遷移同一個集合的chunk。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM