為什么要分庫分表?用過哪些分庫分表中間件?不同的分庫分表中間件都有什么優點和缺點?


 

  為什么要分庫分表(設計高並發系統的時候,數據庫層面該如何設計)?用過哪些分庫分表中間件?不同的分庫分表中間件都有什么優點和缺點?如何對數據庫如何進行垂直拆分或水平拆分的?

  其實這塊肯定是扯到高並發了,因為分庫分表一定是為了支撐高並發、數據量大兩個問題的。而且現在說實話,尤其是互聯網類的公司面試,基本上都會來這么一下,分庫分表如此普遍的技術問題,不問實在是不行,而如果你不知道那也實在是說不過去!

為什么要分庫分表?(設計高並發系統的時候,數據庫層面該如何設計?)

  說白了,分庫分表是兩回事兒,大家可別搞混了,可能是光分庫不分表,也可能是光分表不分庫,都有可能。

  分表

  比如你單表都幾千萬數據了,你確定你能扛住么?絕對不行,單表數據量太大,會極大影響你的 sql 執行的性能,到了后面你的 sql 可能就跑的很慢了。一般來說,就以我的經驗來看,單表到幾百萬的時候,性能就會相對差一些了,你就得分表了。

  分表是啥意思?就是把一個表的數據放到多個表中,然后查詢的時候你就查一個表。比如按照用戶 id 來分表,將一個用戶的數據就放在一個表中。然后操作的時候你對一個用戶就操作那個表就好了。這樣可以控制每個表的數據量在可控的范圍內,比如每個表就固定在 200 萬以內。

  分庫

  分庫是啥意思?就是你一個庫一般我們經驗而言,最多支撐到並發 2000,一定要擴容了,而且一個健康的單庫並發值你最好保持在每秒 1000 左右,不要太大。那么你可以將一個庫的數據拆分到多個庫中,訪問的時候就訪問一個庫好了。

  這就是所謂的分庫分表,為啥要分庫分表?你明白了吧。

  

# 分庫分表前 分庫分表后
並發支撐情況 MySQL 單機部署,扛不住高並發 MySQL從單機到多機,能承受的並發增加了多倍
磁盤使用情況 MySQL 單機磁盤容量幾乎撐滿 拆分為多個庫,數據庫服務器磁盤使用率大大降低
SQL 執行性能 單表數據量太大,SQL 越跑越慢 單表數據量減少,SQL 執行效率明顯提升

用過哪些分庫分表中間件?不同的分庫分表中間件都有什么優點和缺點?

這個其實就是看看你了解哪些分庫分表的中間件,各個中間件的優缺點是啥?然后你用過哪些分庫分表的中間件。

比較常見的包括:

  • cobar
  • TDDL
  • atlas
  • sharding-jdbc
  • mycat

  cobar

  阿里 b2b 團隊開發和開源的,屬於 proxy 層方案,就是介於應用服務器和數據庫服務器之間。應用程序通過 JDBC 驅動訪問 cobar 集群,cobar 根據 SQL 和分庫規則對 SQL 做分解,然后分發到 MySQL 集群不同的數據庫實例上執行。早些年還可以用,但是最近幾年都沒更新了,基本沒啥人用,差不多算是被拋棄的狀態吧。而且不支持讀寫分離、存儲過程、跨庫 join 和分頁等操作。

  TDDL

  淘寶團隊開發的,屬於 client 層方案。支持基本的 crud 語法和讀寫分離,但不支持 join、多表查詢等語法。目前使用的也不多,因為還依賴淘寶的 diamond 配置管理系統。

  atlas

  360 開源的,屬於 proxy 層方案,以前是有一些公司在用的,但是確實有一個很大的問題就是社區最新的維護都在 5 年前了。所以,現在用的公司基本也很少了。

  sharding-jdbc

  當當開源的,屬於 client 層方案。確實之前用的還比較多一些,因為 SQL 語法支持也比較多,沒有太多限制,而且目前推出到了 2.0 版本,支持分庫分表、讀寫分離、分布式 id 生成、柔性事務(最大努力送達型事務、TCC 事務)。而且確實之前使用的公司會比較多一些(這個在官網有登記使用的公司,可以看到從 2017 年一直到現在,是有不少公司在用的),目前社區也還一直在開發和維護,還算是比較活躍,個人認為算是一個現在也可以選擇的方案。

  mycat

  基於 cobar 改造的,屬於 proxy 層方案,支持的功能非常完善,而且目前應該是非常火的而且不斷流行的數據庫中間件,社區很活躍,也有一些公司開始在用了。但是確實相比於 sharding jdbc 來說,年輕一些,經歷的錘煉少一些。

總結

  綜上,現在其實建議考量的,就是 sharding-jdbc 和 mycat,這兩個都可以去考慮使用。

  sharding-jdbc 這種 client 層方案的優點在於不用部署,運維成本低,不需要代理層的二次轉發請求,性能很高,但是如果遇到升級啥的需要各個系統都重新升級版本再發布,各個系統都需要耦合 sharding-jdbc 的依賴;

  mycat 這種 proxy 層方案的缺點在於需要部署,自己運維一套中間件,運維成本高,但是好處在於對於各個項目是透明的,如果遇到升級之類的都是自己中間件那里搞就行了。

通常來說,這兩個方案其實都可以選用,但是我個人建議中小型公司選用 sharding-jdbc,client 層方案輕便,而且維護成本低,不需要額外增派人手,而且中小型公司系統復雜度會低一些,項目也沒那么多;但是中大型公司最好還是選用 mycat 這類 proxy 層方案,因為可能大公司系統和項目非常多,團隊很大,人員充足,那么最好是專門弄個人來研究和維護 mycat,然后大量項目直接透明使用即可。

你們具體是如何對數據庫如何進行垂直拆分或水平拆分的?

  水平拆分的意思,就是把一個表的數據給弄到多個庫的多個表里去,但是每個庫的表結構都一樣,只不過每個庫表放的數據是不同的,所有庫表的數據加起來就是全部數據。水平拆分的意義,就是將數據均勻放更多的庫里,然后用多個庫來扛更高的並發,還有就是用多個庫的存儲容量來進行擴容。

  垂直拆分的意思,就是把一個有很多字段的表給拆分成多個表,或者是多個庫上去。每個庫表的結構都不一樣,每個庫表都包含部分字段。一般來說,會將較少的訪問頻率很高的字段放到一個表里去,然后將較多的訪問頻率很低的字段放到另外一個表里去。因為數據庫是有緩存的,你訪問頻率高的行字段越少,就可以在緩存里緩存更多的行,性能就越好。這個一般在表層面做的較多一些。

  這個其實挺常見的,不一定我說,大家很多同學可能自己都做過,把一個大表拆開,訂單表、訂單支付表、訂單商品表。

  還有表層面的拆分,就是分表,將一個表變成 N 個表,就是讓每個表的數據量控制在一定范圍內,保證 SQL 的性能。否則單表數據量越大,SQL 性能就越差。一般是 200 萬行左右,不要太多,但是也得看具體你怎么操作,也可能是 500 萬,或者是 100 萬。你的SQL越復雜,就最好讓單表行數越少。

  好了,無論分庫還是分表,上面說的那些數據庫中間件都是可以支持的。就是基本上那些中間件可以做到你分庫分表之后,中間件可以根據你指定的某個字段值,比如說 userid,自動路由到對應的庫上去,然后再自動路由到對應的表里去。

  你就得考慮一下,你的項目里該如何分庫分表?一般來說,垂直拆分,你可以在表層面來做,對一些字段特別多的表做一下拆分;水平拆分,你可以說是並發承載不了,或者是數據量太大,容量承載不了,你給拆了,按什么字段來拆,你自己想好;分表,你考慮一下,你如果哪怕是拆到每個庫里去,並發和容量都ok了,但是每個庫的表還是太大了,那么你就分表,將這個表分開,保證每個表的數據量並不是很大。

  

  而且這兒還有兩種分庫分表的方式:

  • 一種是按照 range 來分,就是每個庫一段連續的數據,這個一般是按比如時間范圍來的,但是這種一般較少用,因為很容易產生熱點問題,大量的流量都打在最新的數據上了。
  • 或者是按照某個字段 hash 一下均勻分散,這個較為常用。

  range 來分,好處在於說,擴容的時候很簡單,因為你只要預備好,給每個月都准備一個庫就可以了,到了一個新的月份的時候,自然而然,就會寫新的庫了;缺點,但是大部分的請求,都是訪問最新的數據。實際生產用 range,要看場景。

  hash 分發,好處在於說,可以平均分配每個庫的數據量和請求壓力;壞處在於說擴容起來比較麻煩,會有一個數據遷移的過程,之前的數據需要重新計算 hash 值重新分配到不同的庫或表。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM