Mycat分庫分表（一）

本文轉載自查看原文 2020-11-15 20:39 1123 數據庫

隨着業務變得越來越復雜，用戶越來越多，集中式的架構性能會出現巨大的問題，比如系統會越來越慢，而且時不時會宕機，所以必須要解決高性能和可用性的問題。這個時候數據庫的優化就顯得尤為重要，在說優化方案前，先分析下數據庫性能瓶頸的原因有哪些；

1.1數據庫性能瓶頸的分析

比如說在高並發的情況下連接數不夠了。或者數據量太大，查詢效率變得越來越低。或者是因為存儲的問題，數據庫所在的機器性能下降了。這些問題，歸根結底都是受到了硬件的限制，比如 CPU，內存，磁盤，網絡等等。在集中式的架構里面，我們一般是增加硬件設施來解決這些問題的，比喻換CPU，升級內存，擴展磁盤，升級帶寬等等。但我們本次要說的不是硬件的優化，作為一個程序員，如果只會增加硬件那也沒有啥優越感；言歸正傳，下面來說下數據庫的軟優化方案；

1.2數據庫優化方案對比

1.2.1、重啟

可能有很多朋友覺得這有點搞笑，但重啟真是釋放資源的最好方法；對於很久都沒關閉的數據庫服務器，重啟會使其釋放資源，導致反應速度會很多；所以對於夜間服務器空隙時間長的公司，可以寫一個腳本，讓數據庫在夜間空隙時進行自動重啟；

1.2.1 SQL 與索引

當 SQL 語句寫得非常復雜，比如關聯的表非常多，條件非常多，查詢所消耗的時間非常長，這樣的一個 SQL 就叫慢 SQL，關於慢SQL我在去年的文章中有講解，有興趣可以自己去看下。因為 SQL 語句是我們自己編寫的，可控性是最高的，所以第一步就是檢查 SQL。在很多情況下我們優化的目標是為了用到索引。

1.2.2 表與存儲引擎

如果 SQL 本身沒有什么大問題，我們接着就要檢查我們查詢的目標，也就是表結構的設計有沒有問題。比如你對於字段類型和長度的選擇，或者表結構是不是需要拆分或者合並，不同的表應該選擇什么存儲引擎，是不是要分區等等。

1.2.3 架構

表結構如果也沒有問題，那就要上升到數據庫服務的層面，從架構層面進行優化。因為數據都是在磁盤上存儲，如果加了索引還是很慢，干脆可以把數據在內存里面緩存起來，這個時候可以部署緩存服務器。查詢數據先查緩存，沒有再查數據庫，例如（布隆過濾器）。這樣既可以減少數據庫的壓力，又可以提升查詢速度。如果一台數據庫服務器承受不了訪問壓力，可以部署集群做負載均衡。當然這些數據庫節點應該有自動同步的機制。有了主從同步之后，就可以主從復制實現讀寫分離，讓寫的服務都訪問 master 服務器，讀的請求都訪問從服務器。有了讀寫分離之后，問題並沒有完全解決：1、只有一個 master，寫的壓力沒有得到分攤；2、所有的節點都存儲相同的數據，在一個節點出現存儲瓶頸的時候，磁盤不夠用了其他的節點也一樣會遇到這個問題。所以這個時候我們要用到分布式環境中一個非常重要的手段：分片，每個節點都只存儲總體數據的一部分，那這個就是我們今天要說分庫分表。分片以后，為了提升可用性，可以再對分片做冗余。

1.2.4 數據庫配置

如果通過架構層面沒有解決問題，或者機器雖然配置很高但是性能沒有發揮到極致，還可以優化數據庫的配置，比如連接數，緩沖區大小等等。

二、分庫分表的類型和特點

拆分一共就兩種，一種叫垂直拆分，一種叫水平拆分。

垂直切分：基於表或字段划分，表結構不同。我們有單庫的分表，也有多庫的分庫。

水平切分：基於數據划分，表結構相同，數據不同，也有同庫的水平切分和多庫的切分。

2.1垂直切分

垂直分表有兩種，一種是單庫的，一種是多庫的。字段太多了，就要拆表，表太多了，就要拆庫。

2.1.1 單庫垂直分表

單庫分表，比如：用戶信息表，拆分成基本信息表，聯系方式表等等。

2.1.2 多庫垂直分表

多庫垂直分表就是把原來存儲在一個庫的不同的表，拆分到不同的數據庫。比喻說當如果數據庫中有一個表的增長速度非常快，當垂直切分並沒有從根本上解決單庫單表數據量過大的問題。在這個時候，我們還需要對我們的數據做一個水平的切分。這個時候，一個應用需要多個數據庫。

2.2水平切分

水平切分就是按照數據的維度分布不同的表中，可以是單庫的，也可以是多庫的。

2.2.1 單庫水平分表

這個拿銀行的交易系統講解最容易，銀行的每天交易流水非常大，但是大部分客戶只會查近一年或近一個月的流水單，對於歷史非常長的流水訪問量會少很多，這時就可以對流水表進行水平拆分了。

2.2.2 多庫水平分表

另一種是多庫的水平分表。比如客戶表，我們拆分到多個庫存儲，表結構是完全一樣的。

2.3分庫分表帶來的問題

前面說了很多分庫分表的場景及好處，但世間萬物都是有利就有弊；下面就來說下他的弊端。

2.3.1 跨庫關聯查詢

比如在跨庫關聯時，由於要關聯的表是在不同的數據庫，那么我們肯定不能直接使用 join 的這種方式去做關聯查詢。但我們有幾個解決方案，例如字段冗余、mycat等。

2.3.2 分布式事務

如果是在一個數據庫里面，我們可以用本地事務來控制，但是在不同的數據庫里面就不行了。這里必須要出現一個協調者的角色，讓大家統一行動，而且要分成多個階段，一般是先確定都能成功才成功，只要有一個人不能成功，就要全部失敗。

三、 Mycat 概念與配置

3.1 Mycat 介紹與核心概念

Mycat的官網網址：http://www.mycat.org.cn/；mycat運行在應用和數據庫之間，可以當做一個 MySQL 服務器使用（不論是在工具還是在代碼或者命令行中都可以直接連接）。實現對 MySQL 數據庫的分庫分表，也可以通過 JDBC 支持其他的數據庫。

Mycat 的關鍵特性：

- 可以當做一個 MySQL 數據庫來使用
- 支持 MySQL 之外的數據庫，通過 JDBC 實現
- 解決了我們提到的所有問題，多表 join、分布式事務、全局序列號、翻頁排序
- 支持 ZK 配置，帶監控 mycat-web（已經停止維護）
- 2.0 已經發布；文檔許久沒有更新

3.2 Mycat 配置詳解

我們先從官網下載Mycat包，有各種版本，我為了方便下了win

Mycat 解壓以后有 5 個目錄：

主要的配置文件 server.xml、schema.xml、rule.xml 和具體的分片配置文件。

3.2.1 server.xml

包含系統配置信息。

system 標簽：例如字符集、線程數、心跳、分布式事務開關等等。

user 標簽：配置登錄用戶和權限。

<user name="root" defaultAccount="true">
   <property name="password">root</property>
   <property name="schemas">ghymycat,ljxmycat</property>
   
   <!-- 表級 DML 權限設置 -->
   <!--      
   <privileges check="false">
      <schema name="TESTDB" dml="0110" >
         <table name="tb01" dml="0000"></table>
         <table name="tb02" dml="1111"></table>
      </schema>
   </privileges>     
    -->
</user>

3.2.2 schema.xml

schema 在 MySQL 里面跟數據庫是等價的。schema.xml 包括邏輯庫、表、分片規則、分片節點和數據源，可以定義多個 schema。

這里面有三個主要的標簽（table、dataNode、dataHost）：

<table/>

表名和庫名最好都用小寫

定義了邏輯表，以及邏輯表分布的節點和分片規則：

<schema name="ghymycat" checkSQLschema="false" sqlMaxLimit="100">
        <!--范圍分片表-->
        <table name="customer" primaryKey="id" dataNode="103-ghymycat,104-ghymycat,105-ghymycat" rule="auto-sharding-long" />
        <!--ER分片表-->
        <table name="er_scope" dataNode="103-ghymycat,104-ghymycat,105-ghymycat" rule="mod-long-order" >
            <childTable name="er_detail" primaryKey="id" joinKey="er_id" parentKey="er_id"/>
        </table>
        <table name="mycat_sequence" dataNode="103-ghymycat" autoIncrement="true" primaryKey="id"></table>
    </schema>

    <schema name="ljxmycat" checkSQLschema="false" sqlMaxLimit="100">
        <!--取模分片表-->
        <table name="student" primaryKey="sid" dataNode="103-ljxmycat,104-ljxmycat,105-ljxmycat" rule="mod-long" />
        <!--非分片表-->
        <table name="noshard" primaryKey="id" autoIncrement="true" dataNode="103-ljxmycat" />
        <!--全局表-->
        <table name="dict" primaryKey="id" type="global" dataNode="103-ljxmycat,104-ljxmycat,105-ljxmycat" />
        <!--單庫分片表-->
        <table name="fee" primaryKey="id" subTables="fee2025$1-3" dataNode="103-ljxmycat" rule="sharding-by-month" />
    </schema>

配置	作用
checkSQLschema	在查詢 SQL 中去掉邏輯庫名
sqlMaxLimit	自動加上 limit 控制數據的返回
primaryKey	指定該邏輯表對應真實表的主鍵。MyCat 會緩存主鍵（通過 primaryKey 屬性配置）與具體 dataNode 的信息。 primaryKey 當分片規則（rule）使用非主鍵進行分片時，那么在使用主鍵進行查詢時，MyCat 就會通過緩存先確定記錄在哪個 dataNode 上，然后再在該 dataNode 上執行查詢。如果沒有緩存/緩存並沒有命中的話，還是會發送語句給所有的 dataNode。
dataNode	數據分片的節點
autoIncrement	自增長（全局序列），true 代表主鍵使用自增長策略
type	全局表：global。其他：不配置

<!--數據節點與物理數據庫的對應關系-->

<dataNode name="103-ghymycat" dataHost="host103" database="ghymycat" />
    <dataNode name="104-ghymycat" dataHost="host104" database="ghymycat" />
    <dataNode name="105-ghymycat" dataHost="host105" database="ghymycat" />

    <dataNode name="103-ljxmycat" dataHost="host103" database="ljxmycat" />
    <dataNode name="104-ljxmycat" dataHost="host104" database="ljxmycat" />
    <dataNode name="105-ljxmycat" dataHost="host105" database="ljxmycat" />

配置物理主機的信息，readhost 是從屬於 writehost 的。

<dataHost name="host103" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.2.103:3306" user="root"
                   password="root">
        </writeHost>
    </dataHost>

    <dataHost name="host104" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.2.104:3306" user="root"
                   password="root">
            <!-- <readHost host="hostS1"></readHost>  -->
        </writeHost>
    </dataHost>

    <dataHost name="host105" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.2.105:3306" user="root"
                   password="root">
        </writeHost>
    </dataHost>

balance：負載的配置，決定 select 語句的負載

writeType：讀寫分離的配置，決定 update、delete、insert 語句的負載

switchType：主從切換配置

3.2.3 rule.xml

定義了分片規則和算法分片規則：

<tableRule name="auto-sharding-long">
   <rule>
      <columns>id</columns>
      <algorithm>rang-long</algorithm>
   </rule>
</tableRule>

分片算法：

<function name="rang-long"
   class="io.mycat.route.function.AutoPartitionByLong">
   <property name="mapFile">autopartition-long.txt</property>
</function>

分片配置：

autopartition-long.txt

10001-20000=1

0-10000=0

20001-100000=2

3.3 Mycat 分片驗證

先准備三個數據庫，我是在建了三個虛擬機，分別在每台上裝了mysql

--在所有數據庫節點上創建數據庫ghymycat，創建3張表
-- 范圍分片表
CREATE TABLE `scope` (
  `id` int(11) DEFAULT NULL,
  `name` varchar(255) DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
-- ER分片表
CREATE TABLE `er_scope` (
  `er_id` int(11) NOT NULL ,
  `uid` int(11) DEFAULT NULL ,
  `nums` int(11) DEFAULT NULL,
  `state` int(2) DEFAULT NULL,
  `create_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '創建時間',
  `update_time` datetime DEFAULT NULL ON UPDATE CURRENT_TIMESTAMP COMMENT '更新時間',
  PRIMARY KEY (`er_id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- ER分片表
CREATE TABLE `er_detail` (
  `er_id` int(11) NOT NULL,
  `id` int(11) NOT NULL,
  `goods_id` int(11) DEFAULT NULL,
  `price` decimal(10,2) DEFAULT NULL,
  `is_pay` int(2) DEFAULT NULL,
  `is_ship` int(2) DEFAULT NULL,
  `status` int(2) DEFAULT NULL,
  PRIMARY KEY (`er_id`,`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;

-- 創建表，在三個ljxmycat庫中創建dict及student表
CREATE TABLE `dict` (
  `id` int(11) DEFAULT NULL,
  `param_code` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL,
  `param_name` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

CREATE TABLE `student` (
  `sid` int(8) NOT NULL AUTO_INCREMENT,
  `name` varchar(255) DEFAULT NULL,
  `qq` varchar(255) DEFAULT NULL,
  PRIMARY KEY (`sid`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;


-- 在第一個數據庫ljxmycat節點（103）數據庫創建非分片表
CREATE TABLE `noshard` (
  `id` bigint(30) DEFAULT NULL,
  `name` varchar(255) COLLATE utf8mb4_bin DEFAULT NULL
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

truncate table noshard;


-- 庫內分表
-- 在第一個數據庫ljxmycat節點（103）數據庫創建單庫分片表
CREATE TABLE `fee` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_time` datetime DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4 COLLATE=utf8mb4_bin;

CREATE TABLE `fee20251`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_time` datetime(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) 
);
CREATE TABLE `fee20252`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_time` datetime(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) 
);
CREATE TABLE `fee20253`  (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `create_time` datetime(0) NULL DEFAULT NULL,
  PRIMARY KEY (`id`) 
);

啟動mycat

如上圖紅框所示就代表啟動成功，mycat的默認端口是8066，我們用Navicat premium連接成功所會如下圖所示，他會把所有表內容進行一個聚合；

3.3.1 范圍分片

在mycat的ghymycat中執行分片測試數據，scpoe是按范圍進行分配的，分配的規則前面也有配置

-- 范圍分片scope表
INSERT INTO `scope` (`id`, `name`) VALUES (6666, '張三');
INSERT INTO `scope` (`id`, `name`) VALUES (7777, '李四');
INSERT INTO `scope` (`id`, `name`) VALUES (16666, '王五');
INSERT INTO `scope` (`id`, `name`) VALUES (17777, '孫六');
INSERT INTO `scope` (`id`, `name`) VALUES (26666, '王二麻子');
INSERT INTO `scope` (`id`, `name`) VALUES (27777, '趙七')

插入數據完成后我們查看，會發現是分散在三個數據庫上的

3.3.2 取模分片表

ljxmycat庫中的student表，我們從下圖可知，我們配置的模數是3

-- 取模分片表(ljxmycat庫中的student表)
-- 測試取模分片（在mycat連接中ljxmycat數據庫中執行）
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (1, '張三', '166669999');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (4, '李四', '655556666');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (2, '王五', '466669999');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (5, '趙六', '265286999');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (3, '李大郎', '368828888');
INSERT INTO `student` (`sid`, `name`, `qq`) VALUES (6, '孫子', '516895555');

插入完成后自己可以查下，會發現模余數0的在第一個接點，余數1的在第二個節點上，余數2的在第三個節點上

3.3.3 取模分片（ER 表）

在實際生產環境中我們有些表的數據是存在邏輯的主外鍵關系的，比如訂單表 er_scope和er_detail，有主外鍵的配置如下圖

執行插入數據

INSERT INTO `er_scope` (`er_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (1, 1000001, 1, 2, '2025-9-23 14:35:37', '2025-9-23 14:35:37');

INSERT INTO `er_scope` (`er_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (2, 1000002, 1, 2, '2025-9-24 14:35:37', '2025-9-24 14:35:37');

INSERT INTO `er_scope` (`er_id`, `uid`, `nums`, `state`, `create_time`, `update_time`) VALUES (3, 1000003, 3, 1, '2025-9-25 11:35:49', '2025-9-25 11:35:49');




INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (3, 20180001, 85114752, 19.99, 1, 1, 1);

INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (1, 20180002, 25411251, 1280.00, 1, 1, 0);

INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (1, 20180003, 62145412, 288.00, 1, 1, 2);

INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20180004, 21456985, 399.00, 1, 1, 2);

INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20180005, 21457452, 1680.00, 1, 1, 2);

INSERT INTO `er_detail` (`er_id`, `id`, `goods_id`, `price`, `is_pay`, `is_ship`, `status`) VALUES (2, 20180006, 65214789, 9999.00, 1, 1, 3);

插入完成后我們會發現模數分布規則和上一個例子一樣，唯一區別的是，關聯的外鍵表數據存放會和主表放在同一個庫里面

3.3.4 全局表

ljxmycat數據庫，dict 表：全局表

執行下面語句插入

INSERT INTO `dict` (`id`, `param_code`, `param_name`) VALUES (1, '111', '全局就是所有庫都有一樣的');

3.3.5 非分片表

ljxmycat數據庫，noshard 表

INSERT INTO `noshard` (`id`, `name`) VALUES (1, '分片的數據');

3.3.6 庫內分表

插入數據

INSERT INTO `fee` (`id`, `create_time`) VALUES (1, '2025-1-1 14:46:19');

INSERT INTO `fee` (`id`, `create_time`) VALUES (2, '2025-2-1 14:46:19');

INSERT INTO `fee` (`id`, `create_time`) VALUES (3, '2025-3-1 14:46:19');

然后自己在對應的物理庫查看可以看到在一個庫里分表了

3.4 Mycat 全局 ID

關於全局ID這塊網上有篇文章寫的挺全的，如果要配置可以參照文章中配置,網址：https://blog.51cto.com/mynode/1910570

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 mycat的分庫分表 Mycat分庫分表分庫分表_Mycat MyCat | 分庫分表實踐 mycat實現分庫分表（二） MyCat分庫分表入門 mycat分庫分表配置 MySQL分庫分表之MyCat實現(五) Linux 配置 mycat 和分庫分表配置。 Mycat 讀寫分離+分庫分表