分庫分表就能無限擴容么?


單體應用

每個創業公司基本都是從類似SSM和SSH這種架構起來的,沒什么好講的,基本每個程序員都經歷過。

RPC應用

當業務越來越大,我們需要對服務進行水平擴容,擴容很簡單,只要保證服務是無狀態的就可以了,如下圖:

 

當業務又越來越大,我們的服務關系錯綜復雜,同時,有很多服務訪問都是不需要連接DB的,只需要連接緩存即可,那么就可以做成分離的,減少DB寶貴的連接。如下圖:

 

我相信大部分公司都是在這個階段。Dubbo就是為了解決這個問題而生的。

分庫分表

如果你的公司產品很受歡迎,業務繼續高速發展,數據越來越多,SQL操作越來越慢,那么數據庫就會成為瓶頸,那么你肯定會想到分庫分表,不論通過ID hash或者range的方式都可以。如下圖:

這下應該沒問題了吧。任憑你用戶再多,並發再高,我只要無限擴容數據庫,無限擴容應用,就可以了。

 

這也是本文的標題,分庫分表就能解決無限擴容嗎?

 

實際上,像上面的架構,並不能解決。

 

其實,這個問題和RPC的問題有點類似:數據庫連接過多!

 

通常,我們的RPC應用由於是使用中間件進行訪問數據庫,應用實際上是不知道到底要訪問哪個數據庫的,訪問數據庫的規則由中間件決定,例如Sharding JDBC。

 

這就導致,這個應用必須和所有的數據庫連接,就像我們上面的架構圖一樣,一個RPC應用需要和3個MySQL連接,如果是30個RPC應用,每個RPC的數據庫連接池大小是8,每個MySQL需要維護240個連接。

 

我們知道,MySQL默認連接數是100,最大連接數是16384,也就是說,假設每個應用的連接池大小是8 ,超過2048個應用就無法再繼續連接了,也就無法繼續擴容了。

 

注意,由於每個物理庫有很多邏輯庫,再加上微服務運動如火如荼,2048並沒有看起來那么大。

 

也許你說,我可以通過前面加一個Proxy來解決連接數的問題,實際上,代理的性能也會成為問題,為什么?代理的連接數也是不能超過16384的,如果並發超過16384,變成163840,那么Proxy也解決不了問題。

 

怎么辦?讓我們再看看上面的架構圖:

 

我們發現,問題是出在“每個RPC應用都要連所有的庫”,導致擴容應用的同時,每個數據庫連接數就要增加。就算增加數據庫,也不能解決連接數的問題。

 

那怎么辦呢?

 

二、單元化

 

單元化,聽起來高大上,通常在一些XXX大會上,分享“關於兩地三中心”,“三地五中心”,“異地多活”等等牛逼的名詞的時候,單元化也會一起出現。

 

這里我們不討論那么牛逼的,就只說“數據庫連接數過多” 的問題。

 

實際上,思路很簡單:我們不讓應用連接所有的數據庫就可以了。

 

假設我們根據range分成了10個庫,現在有10個應用,我們讓每個應用只連一個庫,當應用增多變成20個,數據庫的連接不夠用了,我們就將10個庫分成20個庫,這樣,無論你應用擴容到多少個,都可以解決數據庫連接數過多的問題。

 

注意:做這件事的前提是,你必須保證,訪問你這個應用的request請求的數據庫一定是在這個應用的。

 

換個說法,當用戶從DNS那里進來的時候,就知道自己要去那個應用了,所以,規則在DNS之前就定好了,雖然這有點誇張,但肯定在進應用之前就知道要去哪個庫了。

 

所以,這通常需要一個規則,例如通過用戶ID hash,由配置中心廣播hash規則。這樣,所有的組件都能保持一致的規則,從而正確的訪問到數據庫。如下圖:

原文鏈接:https://mp.weixin.qq.com/s/BSKOd5H_PxJRHmqT5MBuUA


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM