MongoDB分片
為什么需要Sharded cluster?
MongoDB目前3大核心優勢:『靈活模式』+ 『高可用性』 + 『可擴展性』,通過json文檔來實現靈活模式,通過復制集來保證高可用,通過Sharded cluster來保證可擴展性。
何時使用分片技術
存儲容量需求超出單機磁盤容量
活躍的數據集超出單機內存容量,導致很多請求都要從磁盤讀取數據,影響性能
寫IOPS超出單個MongoDB節點的寫服務能力
分片技術,使得集合中的數據分散到多個分片集中。使得MongoDB具備橫向的發展。
###Sharded cluster 分片架構 **Sharded cluster**由**Shard**、**Mongos**和**Config server** 3個組件構成。 
Mongos是Sharded cluster的訪問入口,
Mongos本身並不持久化數據,Sharded cluster所有的元數據都會存儲到Config Server
而用戶的數據則會分散存儲到各個shard。Mongos啟動后,會從config server加載元數據,開始提供服務,將用戶的請求正確路由到對應的Shard。
數據分布策略
分片支持單個集合的數據分散在多個分片上。目前主要有兩種數據分片的策略。
- 范圍分片(Range based sharding)
- hash分片(Hash based sharding)
范圍分片
如圖,集合是根據字段來進行分片。根據字段的范圍不同將一個集合的數據存儲在不同的分片中。
在同一個Shard上,每個Shard可以存儲很多個chunk,chunk存儲在哪個shard的信息會存儲在Config server種,mongos也會根據各個shard上的chunk的數量來自動做負載均衡。
范圍分片適合滿足在一定范圍內的查找,例如查找X的值在【100-200】之間的數據,mongo 路由根據Config server中存儲的元數據,可以直接定位到指定的shard的Chunk中
缺點 如果shardkey有明顯遞增(或者遞減)趨勢,則新插入的文檔多會分布到同一個chunk,無法擴展寫的能力
Hash分片
Hash分片是根據用戶的shard key計算hash值(64bit整型),根據hash值按照『范圍分片』的策略將文檔分布到不同的chunk
優點Hash分片與范圍分片互補,能將文檔隨機的分散到各個chunk,充分的擴展寫能力,彌補了范圍分片的不足,
缺點但不能高效的服務范圍查詢,所有的范圍查詢要分發到后端所有的Shard才能找出滿足條件的文檔。
合理的選擇shard key
選擇shard key時,要根據業務的需求及『范圍分片』和『Hash分片』2種方式的優缺點合理選擇,要根據字段的實際原因對數據進行分片,否則會產生過大的Chunk
Mongos
Mongos作為Sharded cluster的訪問入口,所有的請求都由mongos來路由、分發、合並,這些動作對客戶端driver透明,用戶連接mongos就像連接mongod一樣使用。
查詢請求
- 查詢請求不包含shard key,則必須將查詢分發到所有的shard,然后合並查詢結果返回給客戶端
- 查詢請求包含shard key,則直接根據shard key計算出需要查詢的chunk,向對應的shard發送查詢請求
寫請求
寫操作必須包含shard key,mongos根據shard key算出文檔應該存儲到哪個chunk,然后將寫請求發送到chunk所在的shard。
更新/刪除請求
更新、刪除請求的查詢條件必須包含shard key或者_id,如果是包含shard key,則直接路由到指定的chunk,如果只包含_id,則需將請求發送至所有的shard。
其他命令請求
###Config Server ####config database Config server存儲Sharded cluster的所有元數據,所有的元數據都存儲在config數據庫 Config Server可部署為一個獨立的復制集,極大的方便了Sharded cluster的運維管理。 ####config.shards config.shards集合存儲各個Shard的信息,可通過addShard、removeShard命令來動態的從Sharded cluster里增加或移除shard ####config.databases config.databases集合存儲所有數據庫的信息,包括DB是否開啟分片,primary shard信息,對於數據庫內沒有開啟分片的集合,所有的數據都會存儲在數據庫的primary shard上。 ####config.colletions 數據分片是針對集合維度的,某個數據庫開啟分片功能后,如果需要讓其中的集合分片存儲,則需調用shardCollection命令來針對集合開啟分片。 ####config.chunks 集合分片開啟后,默認會創建一個新的chunk,shard key取值[minKey, maxKey]內的文檔(即所有的文檔)都會存儲到這個chunk。當使用Hash分片策略時,也可以預先創建多個chunk,以減少chunk的遷移。 ####config.settings config.settings集合里主要存儲sharded cluster的配置信息,比如chunk size,是否開啟balancer等 ####其他集合 - config.tags主要存儲sharding cluster標簽(tag)相關的你洗 - config.changelog主要存儲sharding cluster里的所有變更操作,比如balancer遷移chunk的動作就會記錄到changelog里 - config.mongos存儲當前集群所有mongos的信息 - config.locks存儲鎖相關的信息,對某個集合進行操作時,比如moveChunk,需要先獲取鎖,避免多個mongos同時遷移同一個集合的chunk。