MySql 之 Mycat和Sharding-jdbc的區別


一、Mycat和Sharding-jdbc的區別

1)mycat是一個中間件的第三方應用,sharding-jdbc是一個jar包

2)使用mycat時不需要改代碼,而使用sharding-jdbc時需要修改代碼

Mycat(proxy中間件層):

Sharding-jdbc(TDDL為代表的應用層):

二、Mycat分片join

在前面的文章Mysql系列四:數據庫分庫分表基礎理論中,已經說過分庫分表需要應對的技術難題有如下幾個:

1.)分布式全局唯一id

2.)分片規則和策略

3.)跨分片技術問題

4.)跨分片事物問題

下面我們來看一下Mycat是如何解決跨分片技術問題——分片join的

1. 使用全局表方式解決跨分片join問題

1.1 先在server.xml里面全局表一致性檢測

<property name="useGlobleTableCheck">1</property>  <!-- 1為開啟全局表一致性檢測、0為關閉 -->

1.2 在schema.xml里面配置全局表

<table name="company" primaryKey="ID" type="global" dataNode="dn1,dn2,dn3" />

全局表說明:

1)全局表的插入、更新操作會實時在所有節點上執行,保持各個分片數據的一致性

2)全局表的查詢操作只從一個節點上獲取

3)全局表可以跟任何一個表進行join操作

2. 使用Share Join方式解決跨分片join問題

Share Join是一個簡單的跨分片join,基於HBT(Human Brain Tech)的方式實現。

原理:解析SQL語句,拆分成單表的SQL語句執行,然后把各個節點的數據匯集。

示例:

/*!mycat:catlet=io.mycat.catlets.ShareJoin*/select * from employee a, employee_detail b where a.id = b.id;

說明:目前只支持兩張分片表的Join,如果要支持多張表需要自己改造程序代碼或者改造Mycat的源代碼

對應Mycat源碼:

io.mycat.catlets.ShareJoin

io.mycat.catlets.Catlet 
public class ShareJoin implements Catlet

3. 使用ER Join方式解決跨分片join問題

ER表也叫父子表,子表存儲在哪個分片上依賴於父表的存儲位置,並且和父表存儲同一個分片上,即子表的記錄與所關聯的父表記錄存放在同一個數據分片上,從而解決跨庫join的問題
在schema.xml里面的配置

<table name="customer" primaryKey="ID" dataNode="dn1,dn2" rule="sharding-by-intfile">
    <childTable name="orders" primaryKey="ID" joinKey="customer_id" parentKey="id">
            <childTable name="order_items" joinKey="order_id" parentKey="id" />
    </childTable>
    <childTable name="customer_addr" primaryKey="ID" joinKey="customer_id" parentKey="id" />
</table>

說明:

childTable:標簽用來聲明子表:

joinKey:聲明子表的那個字段和父表關聯

parentKey:聲明父表的關聯主鍵

primaryKey:父表自身的主鍵

三、Mycat分頁中的坑

Mycat分頁的大坑一定要注意:

在對應的分片上去查詢分頁數據的時候是從第一條記錄開始掃描,然后再取出對應的分頁數據,如

SELECT * FROM customer ORDER BY id LIMIT 1000100, 100;

這個sql語句被Mycat轉化后

1 -> dn1{SELECT * FROM customer ORDER BY id LIMIT 0, 1000100}
2 -> dn2{SELECT * FROM customer ORDER BY id LIMIT 0, 1000100}

所以要在Mycat的server.xm里面開啟使用非堆內存。否則內存會爆掉

<property name="useOffHeapForMerge">1</property>

優化:

1)先查出id

SELECT id FROM customer ORDER BY id LIMIT 1000100, 100;

這個sql語句被mycat轉化后

1 -> dn1{SELECT  id  FROM customer ORDER BY id LIMIT 0, 1000100}
2 -> dn2{SELECT  id  FROM customer ORDER BY id LIMIT 0, 1000100}

2) 拿到所有的id以后再取獲取需要的數據

SELECT * FROM customer where id in(1,2,3....);

這個sql語句被mycat轉化后

1 -> dn1{SELECT * FROM customer where id in(1,2,3....);}
2 -> dn2{SELECT * FROM customer where id in(1,2,3....);}

四、Mycat注解

1. Mycat不支持的SQL語句:

1)  某些SQL語法,如insert into......select.....

2)  跨庫關聯查詢

3)存儲過程創建

4)存儲過程調用

所以Mycat提供Mycat注解來解決上面這些不支持的SQL語句

Mycat的解決辦法:Mycat注解

語法:

/*!mycat:sql=Mycat注解SQL語句*/真正執行的SQL   !號方式

/*#mycat:sql=Mycat注解SQL語句*/真正執行的SQL  #號方式

/**mycat:sql=Mycat注解SQL語句*/真正執行的SQL   *號方式

原理:

使用mycat不支持的SQL替換mycat支持的SQL,運行Mycat不支持的SQL

Mycat注解規范:

1) 注解SQL使用select語句,不允許使用delete/update/insert等語句;雖然delete/update/insert等語句也能用在注解中,但這些語句在Sql處理中有額外的邏輯判斷,從性能考慮,請使用select語句。
2) 注解SQL禁用表關聯語句。
3) 注解SQL盡量用最簡單的SQL語句,如select id from tab_a where id=’10000’(如果必要,最好能在注解中指定分片)
4) 無論是原始SQL 還是注解SQL,禁止DDL語句 
5) 能不用注解的盡量不用

2. Mycat注解解決不支持insert into......select.....

/*!mycat:sql=select 1*/insert into travelrecord(id,user_id,traveldate,fee,days) select 3,'Tom','20180826',100,8;

3. Mycat注解創建表

/*!mycat:sql=select 1 from test */create table test2(id int);

4. Mycat注解創建存儲過程

/*!mycat:sql=select 1 from test */create procedure 'test_proc()' begin end;

5. Mycat注解調用存儲過程

/*!mycat:sql=select * from user where id=1 */call test_proc();

6. Mycat注解讀寫分離數據源選擇

/*!mycat:db_type=master */select * from travelrecord;(強制走主庫)
/*!mycat:db_type=slave */select * from travelrecord;(強制走從庫)

五、Catlet使用

通過Catlet支持跨分片復雜SQL實現以及存儲過程支持等等

使用方式:通過mycat注解方式來執行

1. 跨分片聯合查詢注解支持

/*!mycat:catlet=io.mycat.catlets.ShareJoin */select o.id,u.* from order o,user u where o.user_id=u.id;

2. 批量插入與ID自增長結合的支持

/*!mycat:catlet=io.mycat.route.sequence.BatchInsertSequence */insert into user(name) values('Tom'),('Cat'),('Alan');

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM