Mycat → 實現數據庫的讀寫分離與高可用

前言

　　開心一刻

　　　　上語文課，不小心睡着了，坐在邊上的同桌突然叫醒了我，並小聲說道：“讀課文第三段”。我立馬起身大聲讀了起來。正在黑板寫字的老師嚇了一跳，老師郁悶的看着我，問道：“同學有什么問題嗎？”，我貌似知道了什么，蛋定的說了一句：“這段寫的真好！我給大伙念念！”，老師還較真了：“你說說看，好在哪里？”，頓時我就無語了，臉黑着望向了同桌了，心想着：“這是個畜生啊！”

　　

　　路漫漫其修遠兮，吾將上下而求索！

　　github：https://github.com/youzhibing

　　碼雲(gitee)：https://gitee.com/youzhibing

前情回顧

　　mysql5.7.18的安裝與主從復制中講到了基於mysql5.7.18的主從復制結構的搭建，比較簡單，只要細心點，很容易搭建成功。

　　spring集成mybatis實現mysql讀寫分離從代碼層面實現了讀寫分離（實現方式：注解+aop），需要配置兩個數據源：masterDataSource、slaveDataSource，分別針對主從數據庫，另外還需要在代碼層面明確指定用哪個數據源。會增大代碼量（雖然只是增加一個注解），並且耦合在代碼中不利於拓展與后續維護，一旦進行修改就需要重新編譯打包，最嚴重的是如果數據庫宕機了，應用就會拋異常，完全不能正常服務了。那么有沒有其他層面的更優方案呢？肯定是有的，我們可以從數據庫的層面來實現讀寫分離，應用代碼不感知連接的是什么數據庫，按平時單庫的方式處理即可，具體實現我們往下看。

mysql主從實現

　　Mycat不負責任何的數據同步問題，mysql的主從復制還得從mysql層面來實現；如果沒有實現mysql的主從復制，后文就都成了。

　　mysql的主從復制是實現讀寫分離的基礎，具體的搭建過程請參考：mysql5.7.18的安裝與主從復制，本文就不展示詳細的搭建過程了。我的mysql主從信息如下

　　　　master:192.168.1.210；slave:192.168.1.211； 需要復制的數據庫：mycat_db

Mycat搭建

　　Mycat是什么？是數據庫中間件，介於數據庫與應用之間，進行數據處理與交互的中間件服務，可以簡單的理解成數據庫代理，我們的應用只需要與數據庫中間件交互，而無需關注復雜的數據庫部署。

　　如上圖所示，數據被分到多個分片數據庫后，應用如果需要讀取數據，就需要處理多個數據源的數據。如果沒有數據庫中間件，那么應用將直接面對分片集群，數據源切換、事務處理、數據聚合都需要在應用層直接處理，原本該是專注於業務的應用，將會花大量的工作來處理分片后的問題，最重要的是每個應用處理將是完全的重復造輪子。所以有了數據庫中間件，應用只需要關注業務處理，大量的通用的數據聚合、事務、數據源切換都由數據庫中間件來處理。更多Mycat信息，請查閱《Mycat權威指南》。

　　192.168.1.212上搭建Mycat

　　　　JDK的安裝

　　　　　　Mycat依賴jdk，我們需要先安裝jdk，必須是JDK7或更高版本；具體安裝過程就不做展示了，大家可參考：virtualBox安裝centos，並搭建tomcat。

　　　　Mycat安裝

　　　　　　安裝包：Mycat-server-1.6.6.1-release-20181031195535-linux.tar，在/opt目錄下

　　　　　　　　[root@centos212 opt]# cp Mycat-server-1.6.6.1-release-20181031195535-linux.tar.gz -C /usr/local
　　　　　　　　[root@centos212 local]# useradd mycat
　　　　　　　　[root@centos212 local]# chown -R mycat:mycat /usr/local/mycat
　　　　　　　　[root@centos212 local]# passwd mycat　　

　　　　　　修改mycat內存配置
　　　　　　　　我的linux虛擬機配置的內存大小是1GB，大家需要根據自己的實際情況進行配置

　　　　　　　　[root@centos212 local]# vi mycat/conf/wrapper.conf

wrapper.java.additional.10=-Xmx4G    (大約在36行)
wrapper.java.additional.11=-Xms1G
改成
wrapper.java.additional.10=-Xmx1G
wrapper.java.additional.11=-Xms256M

　　　　　　配置hostname（若已配置則忽略）　　　　　　　

　　　　　　　　[root@centos212 local]# vi /etc/sysconfig/network
　　　　　　　　　　追加一行：HOSTNAME=你的主機名(xxxx)，我的主機名是centos212
　　　　　　　　[root@centos212 local]# vi /etc/hosts
　　　　　　　　　　在127.0.0.1和::1末尾追加你的主機名(xxxx),如下圖所示，

　　　　　　將MyCat配置到環境變量中

　　　　　　　　[root@centos212 local]# vi /etc/profile

　　　　　　　　增加如下內容　　　　　　　　　

　　　　　　　　　　MYCAT_HOME=/usr/local/mycat
　　　　　　　　　　PATH=$MYCAT_HOME/bin:$PATH

　　　　　　　　保存后退出，執行source命令使配置生效

　　　　　　　　　　[root@centos212 local]# source /etc/profile

　　　　　　配置mycat

　　　　　　　　server.xml和rule.xml先不修改，用默認的即可；只需要簡單配置下schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="test_db" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="0"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.1.210:3306" user="root" password="123456" />
    </dataHost>
</mycat:schema>

　　　　　　　　默認有兩個賬號可以連接mycat的TESTDB，root:123456和user:user（在server.xml中），user賬號只有只讀權限。

　　　　　　啟動mycat

 　　　　　　　　[root@centos212 local]# mycat start

　　搭建結果展示

　　　　可以看到，通過mycat我們成功往192.168.1.210的test_db庫中創建了一張tbl_user表。

mysql讀寫分離、高可用實現

　　本文不涉及復雜的數據庫部署，只是簡單的mysql主從部署（單主單從），Mycat實現mysql的讀寫分離與高可用；mysql主從復制已經搭建好，Mycat也已經搭建好，剩下的就是配置Mycat，將Mycat與我們的mysql整合起來，結構圖如下

　　如圖所示，writeHost表示主節點，readHost表示從節點，Mycat內部定期對一個dataHost里所有的writeHost與readHost節點發起心跳檢測（writeHost與readHost都可以配置多個，至於數據同步的問題則需要我們從mysql層面實現了，Mycat並不提供數據同步的支持，本文只講mysql一主一從），正常情況下，Mycat會將第一個writeHost作為寫節點，所有的DML SQL會發送給此節點，若Mycat開啟了讀寫分離，則Select SQL會根據讀寫分離策略發往readHost(+writeHost)執行。當一個dataHost里面配置了多個writeHost時，如果第一個writeHost宕機，則Mycat會在默認的3次心跳檢查失敗后，自動切換到下一個可用的writeHost，以此類推。

　　這存在一個問題，就是當宕機的writeHost恢復后，怎么重新加入Mycat，要不要恢復為原來的寫節點？ 最佳建議方式是：保持現有狀態不變，改旗易幟，恢復后的mysql節點作為從節點，跟隨新的主節點，重新配置主從同步，原來跟隨該節點做同步的從節點也同樣換帥，重新配置同步源，這些節點的數據手工完成同步后，再加入Mycat里。

　　配置Mycat，實現mysql讀寫分離與高可用

　　　　此種需求下，Mycat的配置非常簡單，不用針對每個表進行配置，只需要在schema.xml中的元素上增加dataNode="defaultDN"屬性，並配置此dataNode對應的真實物理數據庫的database，然后dataHost開啟讀寫分離功能即可。具體配置如下，server.xml和rule.xml先不修改，用默認的即可；只需要簡單配置下schema.xml

<?xml version="1.0"?>
<!DOCTYPE mycat:schema SYSTEM "schema.dtd">
<mycat:schema xmlns:mycat="http://io.mycat/">

    <schema name="TESTDB" checkSQLschema="false" sqlMaxLimit="100" dataNode="dn1">
    </schema>
    <!-- <dataNode name="dn1$0-743" dataHost="localhost1" database="db$0-743"
        /> -->
    <dataNode name="dn1" dataHost="localhost1" database="mycat_db" />
    <dataHost name="localhost1" maxCon="1000" minCon="10" balance="1"
              writeType="0" dbType="mysql" dbDriver="native" switchType="1"  slaveThreshold="100">
        <heartbeat>select user()</heartbeat>
        <writeHost host="hostM1" url="192.168.1.210:3306" user="root" password="123456">
            <readHost host="hostS1" url="192.168.1.211:3306" user="root" password="123456" />    <!-- 讀寫分離; 寫走hostM1,讀走hostS1; hostM1宕機了, hostS1也不可用 -->
        </writeHost>
        <writeHost host="hostM2" url="192.168.1.211:3306" user="root" password="123456" /> <!-- 高可用,hostM1宕機了, hostM2頂上 -->
    </dataHost>
</mycat:schema>

　　　　重啟mycat：[root@centos212 logs]# mycat restart，mycat數據庫TESTDB內容如下

　　測試結果展示

　　　　讀寫分離

　　　　　　一般情況，查詢會走slave節點，其他走master節點，對master節點數據庫的增、刪、改操作最終會同步到slave節點，但這個同步所需要的時間不好掌握（網絡延時等因素），如果延時太長，我們新增一條數據后立即去查詢，很有可能會查詢不到剛新增的的數據；如果對數據的實時性要求比較高的查詢，我們可以強制查詢走master節點，如下所示

　　　　　　　　強制走master：/*!mycat:db_type=master*/ select * from tbl_user；強制走slave：/*!mycat:db_type=slave*/ select * from tbl_user

　　　　　　另外我們可以配置mycat，根據主從延時時長來決定查詢走master還是slave，具體配置可查閱《Mycat權威指南》。

　　　　　　讀寫分離示例如下：

　　　　　　可以看到，一般查詢走的是slave；增、刪、改走master，然后同步到slave；我們也可以強制走master，還是slave。示例中我手動的將slave中的王五改成了王五_1，是為了更好的展示查詢請求是走的master還是slave，真實情況是不會出現這種情況的。

　　　　高可用

　　　　　　我們手動停掉master上的mysql服務，看看mycat能不能自動的切換到下一個writeHost，示例如下

　　　　　　mycat將master從hostM1切換到hostM2需要一定的時間，切換過程中如果強制從master操作，會拋出連接異常（java.net.ConnectException: 拒絕連接），這是屬於正常情況。當切換完成之后，就可以正常操作mycat了，而我們的操作方式無需做任何改變（應用無需做任何變化，仍按之前的方式訪問mycat即可）。

　　　　　　宕機的master節點修復后，如何重新加入mycat，這個問題在前面已經講過，該節點及其readHost節點全部以slave的形式加入到其他writeHost的readHost中，修改schema.xml，而不要去修改dnindex.properties，另外還得從mysql層面修改同步源。

總結

　　1、數據的同步在mysql層面實現的，mycat不負責任何的數據庫同步；

　　2、mycat的搭建比較簡單，但也有一些注意點：依賴JDK以及其版本，hostname配置等等。期間如果遇到什么問題，盡量百度，就不要google了，Mycat是中國制造，百度搜索的資料更全；

　　3、數據庫的讀寫分離是mycat最常用的場景之一，配置比較簡單，細心一點，實現起來應該不難； 

　　4、讀寫分離往往還伴隨着高可用，同樣mycat也支持mysql的高可用，能夠自動的進行master的切換；

　　5、關於mycat自身的高可用與負載均衡，請上飛機：Mycat - 高可用與負載均衡實現，滿滿的干貨！；

參考

　　《Mycat實戰指南》