單體應用
每個創業公司基本都是從類似SSM和SSH這種架構起來的,沒什么好講的,基本每個程序員都經歷過。
RPC應用
當業務越來越大,我們需要對服務進行水平擴容,擴容很簡單,只要保證服務是無狀態的就可以了,如下圖:
當業務又越來越大,我們的服務關系錯綜復雜,同時,有很多服務訪問都是不需要連接DB的,只需要連接緩存即可,那么就可以做成分離的,減少DB寶貴的連接。如下圖:
我相信大部分公司都是在這個階段。Dubbo就是為了解決這個問題而生的。
分庫分表
如果你的公司產品很受歡迎,業務繼續高速發展,數據越來越多,SQL操作越來越慢,那么數據庫就會成為瓶頸,那么你肯定會想到分庫分表,不論通過ID hash或者range的方式都可以。如下圖:
這下應該沒問題了吧。任憑你用戶再多,並發再高,我只要無限擴容數據庫,無限擴容應用,就可以了。
這也是本文的標題,分庫分表就能解決無限擴容嗎?
實際上,像上面的架構,並不能解決。
其實,這個問題和RPC的問題有點類似:數據庫連接過多!
通常,我們的RPC應用由於是使用中間件進行訪問數據庫,應用實際上是不知道到底要訪問哪個數據庫的,訪問數據庫的規則由中間件決定,例如Sharding JDBC。
這就導致,這個應用必須和所有的數據庫連接,就像我們上面的架構圖一樣,一個RPC應用需要和3個MySQL連接,如果是30個RPC應用,每個RPC的數據庫連接池大小是8,每個MySQL需要維護240個連接。
我們知道,MySQL默認連接數是100,最大連接數是16384,也就是說,假設每個應用的連接池大小是8 ,超過2048個應用就無法再繼續連接了,也就無法繼續擴容了。
注意,由於每個物理庫有很多邏輯庫,再加上微服務運動如火如荼,2048並沒有看起來那么大。
也許你說,我可以通過前面加一個Proxy來解決連接數的問題,實際上,代理的性能也會成為問題,為什么?代理的連接數也是不能超過16384的,如果並發超過16384,變成163840,那么Proxy也解決不了問題。
怎么辦?讓我們再看看上面的架構圖:
我們發現,問題是出在“每個RPC應用都要連所有的庫”,導致擴容應用的同時,每個數據庫連接數就要增加。就算增加數據庫,也不能解決連接數的問題。
那怎么辦呢?
二、單元化
單元化,聽起來高大上,通常在一些XXX大會上,分享“關於兩地三中心”,“三地五中心”,“異地多活”等等牛逼的名詞的時候,單元化也會一起出現。
這里我們不討論那么牛逼的,就只說“數據庫連接數過多” 的問題。
實際上,思路很簡單:我們不讓應用連接所有的數據庫就可以了。
假設我們根據range分成了10個庫,現在有10個應用,我們讓每個應用只連一個庫,當應用增多變成20個,數據庫的連接不夠用了,我們就將10個庫分成20個庫,這樣,無論你應用擴容到多少個,都可以解決數據庫連接數過多的問題。
注意:做這件事的前提是,你必須保證,訪問你這個應用的request請求的數據庫一定是在這個應用的。
換個說法,當用戶從DNS那里進來的時候,就知道自己要去那個應用了,所以,規則在DNS之前就定好了,雖然這有點誇張,但肯定在進應用之前就知道要去哪個庫了。
所以,這通常需要一個規則,例如通過用戶ID hash,由配置中心廣播hash規則。這樣,所有的組件都能保持一致的規則,從而正確的訪問到數據庫。如下圖:
原文鏈接:https://mp.weixin.qq.com/s/BSKOd5H_PxJRHmqT5MBuUA