大覓網05Day

1.Mycat概述

　　在此前的服務器對數據庫的存儲數量不多的時候，MySql數據庫基本能夠滿足對數據存儲的要求。

　　但隨着技術的不斷發展，MySql甚至Redis都無法滿足現今存儲數量的指數級增長的要求，在面對千萬級以上的數據存儲時，MySql的性能將大幅下降，此時我們需要一個能夠解決這些問題的辦法。

　　而MyCat（數據庫中間件）則是當下主流的解決海量數據存儲問題的方法，接下來我將簡略的介紹它的主要功能與原理。

 

2.Mycat的分庫分表

　　Mycat是一個數據庫中間件，也可以理解為是數據庫代理。

　　Mycat的分表操作，即在配置文件中預先配置好將數據分開存儲的幾張表，且設定分開存儲的相關規則，此時注意真實數據庫的表名與配置文件中的表名一致。

　　當我們進行數據存儲的操作時，Mycat將這些數據根據配置，把這些數據存儲到不同的表中，以減少單表存儲時的壓力，提高讀取與寫入的性能。

 

3.Mycat快速搭建

 

　　1.在搭建Mycat時，我們需要預先准備三個配置文件，它們的文件名分別是server.xml、rule.xml和schema.xml。

　　server.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:server SYSTEM "server.dtd">
<mycat:server xmlns:mycat="http://io.mycat/">
    <system>
    <property name="useSqlStat">0</property>  <!-- 1為開啟實時統計、0為關閉 -->
    <property name="useGlobleTableCheck">0</property>  <!-- 1為開啟全加班一致性檢測、0為關閉 -->

        <property name="sequnceHandlerType">2</property>
      <!--  <property name="useCompression">1</property>--> <!--1為開啟mysql壓縮協議-->
        <!--  <property name="fakeMySQLVersion">5.6.20</property>--> <!--設置模擬的MySQL版本號-->
    <!-- <property name="processorBufferChunk">40960</property> -->
    <!-- 
    <property name="processors">1</property> 
    <property name="processorExecutor">32</property> 
     -->
        <!--默認為type 0: DirectByteBufferPool | type 1 ByteBufferArena-->
        <property name="processorBufferPoolType">0</property>
        <!--默認是65535 64K 用於sql解析時最大文本長度 -->
        <!--<property name="maxStringLiteralLength">65535</property>-->
        <!--<property name="sequnceHandlerType">0</property>-->
        <!--<property name="backSocketNoDelay">1</property>-->
        <!--<property name="frontSocketNoDelay">1</property>-->
        <!--<property name="processorExecutor">16</property>-->
        <!--
            <property name="serverPort">8066</property> <property name="managerPort">9066</property> 
            <property name="idleTimeout">300000</property> <property name="bindIp">0.0.0.0</property> 
            <property name="frontWriteQueueSize">4096</property> <property name="processors">32</property> -->
        <!--分布式事務開關，0為不過濾分布式事務，1為過濾分布式事務（如果分布式事務內只涉及全局表，則不過濾），2為不過濾分布式事務,但是記錄分布式事務日志-->
        <property name="handleDistributedTransactions">0</property>
        
            <!--
            off heap for merge/order/group/limit      1開啟   0關閉
        -->
        <property name="useOffHeapForMerge">1</property>

        <!--
            單位為m
        -->
        <property name="memoryPageSize">1m</property>

        <!--
            單位為k
        -->
        <property name="spillsFileBufferSize">1k</property>

        <property name="useStreamOutput">0</property>

        <!--
            單位為m
        -->
        <property name="systemReserveMemorySize">384m</property>


        <!--是否采用zookeeper協調切換  -->
        <property name="useZKSwitch">true</property>


    </system>
    
    <!-- 全局SQL防火牆設置 -->
    <!-- 
    <firewall> 
       <whitehost>
          <host host="127.0.0.1" user="mycat"/>
          <host host="127.0.0.2" user="mycat"/>
       </whitehost>
       <blacklist check="false">
       </blacklist>
    </firewall>
    -->
    
    <user name="root">
        <property name="password">123456</property>
        <property name="schemas">dm_order</property>
        
        <!-- 表級 DML 權限設置 -->
        <!--         
        <privileges check="false">
            <schema name="TESTDB" dml="0110" >
                <table name="tb01" dml="0000"></table>
                <table name="tb02" dml="1111"></table>
            </schema>
        </privileges>        
         -->
    </user>
</mycat:server>

 

　　rule.xml

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE mycat:rule SYSTEM "rule.dtd">
<mycat:rule xmlns:mycat="http://io.mycat/">
     <tableRule name="auto-sharding-rang-mod-order">
    <rule>
        <columns>id</columns>
        <algorithm>rang-mod-dm</algorithm>
    </rule>
</tableRule>
<function name="rang-mod-dm"  class="io.mycat.route.function.PartitionByMod">
    <property name="count">3</property>
</function>
</mycat:rule>

　　

　　schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">
    <schema name="dm_order"  checkSQLschema="true" sqlMaxLimit="100">
       <table name="dm_order" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2,dn3"
        rule="auto-sharding-rang-mod-order"/>
    </schema>

<dataNode name="dn1"   dataHost="a"  database="dm_order1"/>

<dataNode name="dn2"   dataHost="a"  database="dm_order2"/>
<dataNode name="dn3"   dataHost="a"  database="dm_order3"/>
<dataHost  name="a"   maxCon="1000"  minCon="10"  balance="0"
    writeType="0"   dbType="mysql"
        dbDriver="native" switchType="1"  slaveThreshold="100">
    <heartbeat>select 1</heartbeat>
<!--注意下方的“url”中的IP地址應改為對應你的ubantu系統的IP地址-->
    <writeHost host="hostM1"
        url="192.168.115.158:3306" user="root" password="123456">
    </writeHost>
</dataHost>
</mycat:schema>

　　

　　2.接下來將這些文件復制到linux的root目錄下，使用Xftp進行文件的傳輸

 

 

　　3.將宿主機中的三個xml文件復制到mycat容器中的/usr/local/mycat/conf目錄，使用Xshell進行相關的操作

 

root@ubuntu:~# docker cp server.xml springcloudv20_mycat_1:/usr/local/mycat/conf 
root@ubuntu:~# docker cp rule.xml springcloudv20_mycat_1:/usr/local/mycat/conf root@ubuntu:~# docker cp schema.xml springcloudv20_mycat_1:/usr/local/mycat/conf

　　如下圖

 

　　最后，重啟Mycat容器。至此，Mycat的配置已基本完成，接下來進行相關的測試

 

4.Mycat相關測試

　　首先我們先連接Mycat的邏輯庫，使用配置文件schema.xml中的設定好的賬號密碼連接MySql數據庫，端口號為8066.

　　連接成功后數據庫內部的表如下圖所示：

　

 

　　接下來連接本地的數據庫，端口號為3306。

　　連接成功后數據庫內部的我們需要的表如下圖所示：

　

 

 

　　最后我們在邏輯庫中的表dm_order隨意添加復數條的數據，然后刷新本地庫的表，就可以看到，之前在邏輯庫中存儲的數據已經自動被分別保存在不同的表中。

 

 

 

5.springboot+mybatis實現分庫分表

 

 　　使用老師發給我們的項目文件，在運行后，與網址中輸入相應的地址http://localhost:9090/addOrder.do並給予參數，然后刷新數據庫中的表，可以查看添加的成果。