MyCAT詳解

一、MyCAT概述
MyCAT是一款由阿里Cobar演變而來的用於支持數據庫讀寫分離、分片的分布式中間件。MyCAT可不但支持Oracle、MSSQL、MYSQL、PG、DB2關系型數據庫，同時也支持MongoDB等非關系型數據庫。基礎架構如下：

1、MyCAT原理

MyCAT主要是通過對SQL的攔截，然后經過一定規則的分片解析、路由分析、讀寫分離分析、緩存分析等，然后將SQL發給后端真實的數據塊，並將返回的結果做適當處理返回給客戶端。

  

2、MyCAT功能
(1)數據庫分片(Sharding)

通過某種條件，將同一數據庫中的數據分散的存儲到多個數據庫中，已達到分散單台數據庫設備負載的效果，這就是數據庫分片。
a.水平拆分
同一張表的不同記錄，根據表的某個字段的某種規則拆分到多個數據庫（主機）上，這既是水平拆分。
單庫業務表可能會過於龐大，存在單庫讀寫與存儲瓶頸，這種情況可以通過水平拆分解決，水平拆分基本架構如下：

常用水平拆分規則：
*ID
*日期
*特定字段取模

 優點：

*拆分規則抽象好，join操作基本可以數據庫內完成
*不存在單庫大數據，高並發的性能瓶頸
*應用端改造少
*提高了系統穩定性和負載能力

缺點：
*拆分規則難以抽象
*分片事務一致性難以解決
*數據多次擴展難度跟維護量極大
*跨庫join性能較差

b.垂直拆分
不同的表切分到不同的數據庫（主機）上，這就是垂直拆分。
一般按照業務表進行分類，划分為不同的業務、模塊庫，耦合度越低，越容易做垂直拆分，垂直拆分基本架構如下：

垂直拆分注意點：
跨庫Join，采用共享數據源或分庫接口調用，根據資源和數據規模、負載而定

優點：
*拆分后業務清晰，拆分規則明確
*系統之間整合或擴展容易
*數據庫維護簡單

缺點：
*部分業務表無法Join，只能通過接口方式解決，提高了系統復雜度
*受每種業務不同的限制存在單庫性能瓶頸，不容易擴展跟性能提高
*事務處理復雜

c.水平拆分和垂直拆分共同缺點
*分布式事務處理困難
*誇節點join困難
*擴數據源管理復雜

d.切分總則
*能不切分的盡量不切分
*如果要切分，選擇合適的切分規則，提前規划好
*數據庫切分盡量通過數據冗余或表分組來降低跨庫join
*業務盡量使用少的多表join

(2)讀寫分離

 

(3)黑白名單限制

 

3、使用場景 

(1)單純讀寫分離，此時配置最為簡單，支持讀寫分離、主從切換
(2)分庫分表，對記錄超過1000萬的表進行水平拆分，最大支持1000億單表水平拆分
(3)多租戶應用，每個應用一個數據庫，但程序只需連接MyCAT，程序不改變，實現多租戶化
(4)報表系統，借住MyCAT分表能力，處理大規模的報表統計
(5)替代Hbase，分析大數據
(6)海量實時數據查詢

4、優缺點
優點：
(1)支持多種類型數據庫的分片
(2)易擴展
(3)

缺點：

二、MyCAT安裝
1、下載
官網地址：http://www.mycat.io/
下載地址：http://dl.mycat.io/1.6-RELEASE/Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz
文檔地址：http://www.mycat.io/document/Mycat_V1.6.0.pdf

2、mycat安裝

1)mycat是java語言編寫，在安裝mycat前需要安裝jdk，本次java版本是1.7

[root@node1 ~]# java -version
java version "1.7.0_131"
OpenJDK Runtime Environment (rhel-2.6.9.0.el6_8-x86_64 u131-b00)
OpenJDK 64-Bit Server VM (build 24.131-b00, mixed mode)

2)解壓縮mycat（mycat解壓縮后即安裝完畢）

[root@node1 ~]# tar -xzvf Mycat-server-1.6-RELEASE-20161028204710-linux.tar.gz  -C /usr/local/

3)mycat用戶創建

groupadd mycat
useradd -r -g mycat mycat
chown -R mycat.mycat /usr/local/mycat  

4)mycat基本配置

環境變量配置：

[root@node1 ~]# vi ~/.bash_profile 
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=$PATH:$HOME/bin:/usr/local/mycat/bin

export PATH

[root@node1 ~]# source ~/.bash_profile

schema.xml配置：

[root@node1 ~]# cd /usr/local/mycat/conf/

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <dataNode name="dn1" dataHost="node1" database="db01" />
    <dataHost name="node1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="10.20.32.23:3306" user="myuser"  password="myuser">
            <readHost host="hostS2" url="10.20.32.24:3306" user="myuser" password="myuser" />
        </writeHost>
        <writeHost host="hostS1" url="10.20.32.24:3316" user="myuser" password="myuser" />
    </dataHost>
</mycat:schema>

server.xml配置：

[root@node1 ~]# cd /usr/local/mycat/conf/

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
        <system>
                <property name="useSqlStat">0</property>  <!-- 1為開啟實時統計、0為關閉 -->
                <property name="useGlobleTableCheck">0</property>  <!-- 1為開啟全加班一致性檢測、0為關閉 -->
                <property name="sequnceHandlerType">2</property>
                <property name="processorBufferPoolType">0</property>
                <property name="handleDistributedTransactions">0</property>
                <property name="useOffHeapForMerge">1</property>
                <property name="memoryPageSize">1m</property>
                <property name="spillsFileBufferSize">1k</property>
                <property name="useStreamOutput">0</property>
                <property name="systemReserveMemorySize">384m</property>
                <property name="useZKSwitch">true</property>

        </system>

        <user name="user">
                <property name="password">user</property>
                <property name="schemas">TESTDB</property>
                <property name="readOnly">true</property>
        </user>

</mycat:server>

5)mycat啟動

[root@node1 conf]# mycat start
Starting Mycat-server...
[root@node1 conf]# 

6)mycat狀態檢查

[root@node1 conf]# mycat status
Mycat-server is running (27956).

三、MyCAT使用

 1、mycat常用命令

./mycat start 啟動
./mycat stop 停止
./mycat console 前台運行
./mycat install 添加到系統自動啟動（暫未實現）
./mycat remove 取消隨系統自動啟動（暫未實現）
./mycat restart 重啟服務
./mycat pause 暫停
./mycat status 查看啟動狀態

四、MyCAT重要概念

 1、邏輯庫（schema）

邏輯庫是mycat中間件層配置的對應實際一個或多個業務數據庫集群構成。

2、邏輯表（table）
a.邏輯表是mycat切分到多個數據庫或者不切分對應用程序顯示的統一的表。
b.分片表是原有的大表，經過分片，分布在不同數據庫、相同數據庫的保留相同表結構，但數據不同的表。
c.非分片表是未做切分的表。
d.ER表基於E-R關系分片策略，子表記錄與所關聯的父表記錄存放在同一個數據分片上，即子表依賴於父表，通過表分組保證數據join不會跨庫操作。
e.全局表，業務系統中變化不大、數據量不大（十萬以下），但又需要經常關聯的表，mycat采用冗余在各個節點一個份來完成。

3、分片節點（dataNode）
數據庫分片后，一個大表被切分到不同的分片數據庫上，每個表分片所在的數據庫就是分片節點。

4、分片主機（dataHost）
分片節點所在的服務器，數據切分后，每個分片節點不一定都會獨占一台服務器，同一個分片服務器可能存儲多個分片節點，盡量使讀寫壓力高的分片節點均衡的放在不同的節點主機上。

5、分片規則（rule）
按照某種業務規則把數據分到某個分片節點上的規則，就是分片規則。（分片規則非常重要，直接決定后續數據處理復雜度）

6、全局序列號（sequence）
當數據庫分片后，原有的主鍵約束在分布式條件下無法使用，因此需要引入外部機制保證數據唯一表示，這種保證全局的數據唯一表示機制就是全局序列號（sequence）。

7、多租戶
多用戶的環境共用相同的系統、程序組件，並且確保各用戶間數據的隔離性。
a.一個用戶一個數據庫，隔離級別最高、安全性最好，費用最高
b.共享數據庫，隔離數據架構，每個用戶一個schema
c.共享數據庫，共享數據架構，共享database、schema，通過表tenantID區分租戶數據

 

五、MyCAT附錄
1、OLAP和OLTP對比

2、關系型和非關系型數據庫對比

3、