Java下一個簡單的數據庫分庫幫助類

簡介

   前面兩篇文章主要講了 數據庫讀寫分離和 分表分庫的一些問題，這篇文章主要講一下我個人實現的一個分表分庫項目。

    在此之前，我有寫過一個 .Net的分庫，最近在做Java的項目，就順便做出一個Java版本，這個項目源於我另外的一個業務項目，在這個業務項目中有分表(在一個數據庫下有多張表)，當時寫了一套基於分表的幫助類，隨着這個業務的的發展，基於分表的解決方案有一定的弊端，主要有兩個：

    1.  不能很好的擴展，在一個數據庫下面有20張表，當業務繁忙的時候，數據庫出現了壓力(公司里面多個項目共用一個數據庫服務器，有可能是其他項目影響了我的項目)，這個時候想要擴展就比較麻煩了， 我可以將其中10張表遷移到另外的機器，同時我的代碼路由算法就要改，其實將其中10張表遷移到另外服務器上，就已經類似於分庫了。 

    2. 基於分表對業務的侵入性較高，我要先通過算法得到具體的表索引(即表的編號，比如user_15),然后要將整個索引和表前綴進行拼接才能得到真正的表名。 

    所以在開源分表分庫的項目的時候，我對項目進行了升級，改為分庫模式，即有多個數據庫，每個數據庫一張表，表名都一樣，這樣你就可以在mybatis中不需要再對表名進行修改。 降低了浸入性，同時也方便后續的擴展，你可以將這些數據庫放在一台機器上，也可以在后續數據庫服務器性能緊張的時候，將一部分數據庫遷移到其他機器上。 

    最后說一下我當時為什么沒有選擇開源的解決方案，目前我知道的開源方案包括 sharding-jdbc ,mycat ，但是當時時間緊，任務重，研究熟悉部署這些項目，可能需要1-2天的時間，並且后續使用過程中，出了問題，還需要花時間排查，mycat 是基於分庫的，所以並不適合我這個項目，而我的項目中，在操作數據庫之前，已經可以知道具體要操作哪張表，對分表的操作也比較簡單，但是要得到具體的表索引比較麻煩，是要經過多個key運算得到的，綜合所有，我選擇了自己寫了一個。 

項目介紹

項目比較簡單，所有和分庫相關的都在shardingcore中。 test是測試用的。 

 shardingcore的項目結構。

其中MultipleDataSource是為了實現切換數據庫連接，這塊代碼是參考網上數據庫讀寫分離的。

 ShardingDBAspect是分庫的核心代碼。 

使用shardingcore

我們假設要對user進行分庫，分3個庫

 下面是test工程，比較簡單就是操作數據庫。 

這里重點看一下UserDao，如果你想在項目中用到分庫，只需要引入shardingcore，對於dao層的需要分庫的方法，比如addUser方法，需要有兩個地方需要修改，一個是通過@Sharding來標示出分庫的基本信息。 ，第二個通過@ShardingKey來標示出要根據哪個參數來分庫。其他的代碼都不需要動。 

 

最后要對配置文件做一些修改。 

 <!-- aop配置，主要是攔截dao層的方法 -->
    <aop:config>
        <aop:pointcut
                expression="execution(public * com.sharpframework.test.repository.*Dao.*(..)) and @annotation(com.sharpframework.shardingcore.shardingannotation.Sharding)"
                id="shardingpoint"/>
        <aop:aspect id="adviceRespect" ref="sharding" order="1">
            <aop:before pointcut-ref="shardingpoint" method="shardingDB"/>
            <aop:after pointcut-ref="shardingpoint" method="cleanshardingDB"/>
        </aop:aspect>

    </aop:config>

    <bean id="sharding" class="com.sharpframework.shardingcore.ShardingDBAspect"></bean>


    <!-- 因為會有多個數據庫連接，所有會有一個抽象連接 配置可以從外部文件讀取-->
    <bean id="db" class="com.alibaba.druid.pool.DruidDataSource"
          destroy-method="close" abstract="true">
        <!-- 初始化連接大小 -->
        <property name="initialSize" value="${initialSize}"></property>
        <!-- 連接池最大數量 -->
        <property name="maxActive" value="${maxActive}"></property>
        <!-- 連接池最大空閑 -->
        <property name="maxIdle" value="${maxIdle}"></property>
        <!-- 連接池最小空閑 -->
        <property name="minIdle" value="${minIdle}"></property>
        <!-- 獲取連接最大等待時間 -->
        <property name="maxWait" value="${maxWait}"></property>

        <property name="minEvictableIdleTimeMillis" value="60000"></property>
        <property name="testWhileIdle" value="true"></property>
        <property name="timeBetweenEvictionRunsMillis" value="45000"></property>
        <property name="validationQuery" value="select 'x'"></property>
        <property name="testOnBorrow" value="false"></property>
        <property name="defaultAutoCommit" value="false"></property>
    </bean>

    <!-- 數據庫連接  -->
    <bean id="db-0" parent="db">
        <property name="driverClassName" value="${user.db0.driver}"/>
        <property name="url" value="${user.db0.url}"/>
        <property name="username" value="${user.db0.username}"/>
        <property name="password" value="${user.db0.password}"/>
    </bean>

    <!-- 數據庫連接  -->
    <bean id="db-1" parent="db">
        <property name="driverClassName" value="${user.db1.driver}"/>
        <property name="url" value="${user.db1.url}"/>
        <property name="username" value="${user.db1.username}"/>
        <property name="password" value="${user.db1.password}"/>

    </bean>

    <!-- 數據庫連接  -->
    <bean id="db-2" parent="db">
        <property name="driverClassName" value="${user.db2.driver}"/>
        <property name="url" value="${user.db2.url}"/>
        <property name="username" value="${user.db2.username}"/>
        <property name="password" value="${user.db2.password}"/>
    </bean>

    <!-- 多數據源，注入到sqlSesionFactory,注意targetDataSources中key的名稱，這里和@Sharding中dataSource 有關聯 -->
    <bean id="multipleDataSource" class="com.sharpframework.shardingcore.multippledb.MultipleDataSource" primary="true">
        <property name="defaultTargetDataSource" ref="db-0"/>
        <property name="targetDataSources">
            <map>
                <entry key="db-0" value-ref="db-0"/>
                <entry key="db-1" value-ref="db-1"/>
                <entry key="db-2" value-ref="db-2"/>
            </map>
        </property>
    </bean>

下面是測試代碼。 

 操作結果：

目前該項目已經開源，代碼地址： https://github.com/zhaoyb/sharp-sharding

后記

這個分庫項目的原理就是抽象數據連接，當要操作數據庫的時候根據指定的shardingkey計算出具體的數據連接，所以也就有了一定的限制，那就是在操作數據前，一定要知道具體要操作哪個庫，其實對於分庫分庫的項目，大部分在執行sql語句前，就已經知道要操作哪張表，否則你就只能並行查所有的表。