springboot多數據源配置及切換

注：本文的多數據源配置及切換的實現方法是，在框架中封裝，具體項目中配置及使用，也適用於多模塊項目

配置文件數據源讀取

通過springboot的Envioment和Binder對象進行讀取，無需手動聲明DataSource的Bean

yml數據源配置格式如下:

spring:
  datasource:
    master:
      type: com.alibaba.druid.pool.DruidDataSource
      driverClassName: com.mysql.cj.jdbc.Driver
      url: jdbc:mysql://localhost:3306/main?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
      username: root
      password: 11111
    cluster:
      - key: db1
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/haopanframetest_db1?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
        username: root
        password: 11111
      - key: db2
        type: com.alibaba.druid.pool.DruidDataSource
        driverClassName: com.mysql.cj.jdbc.Driver
        url: jdbc:mysql://localhost:3306/haopanframetest_db2?
useUnicode=true&characterEncoding=utf8&zeroDateTimeBehavior=convertToNull&serverTimezone=Asia/Shanghai
        username: root
        password: 11111

master為主數據庫必須配置，cluster下的為從庫，選擇性配置

獲取配置文件信息代碼如下

@Autowired
    private Environment env;
    @Autowired
    private ApplicationContext applicationContext;
    private Binder binder;

    binder = Binder.get(env);
    List<Map> configs = binder.bind("spring.datasource.cluster", Bindable.listOf(Map.class)).get();
            for (int i = 0; i < configs.size(); i++) {
                config = configs.get(i);
                String key = ConvertOp.convert2String(config.get("key"));
                String type = ConvertOp.convert2String(config.get("type"));
                String driverClassName = ConvertOp.convert2String(config.get("driverClassName"));
                String url = ConvertOp.convert2String(config.get("url"));
                String username = ConvertOp.convert2String(config.get("username"));
                String password = ConvertOp.convert2String(config.get("password"));
            }    

動態加入數據源

定義獲取數據源的Service，具體項目中進行實現

public interface ExtraDataSourceService {
    List<DataSourceModel> getExtraDataSourc();
}

獲取對應Service的所有實現類進行調用

    private List<DataSourceModel> getExtraDataSource(){
        List<DataSourceModel> dataSourceModelList = new ArrayList<>();
        Map<String, ExtraDataSourceService> res =
 applicationContext.getBeansOfType(ExtraDataSourceService.class);
        for (Map.Entry en :res.entrySet()) {
            ExtraDataSourceService service = (ExtraDataSourceService)en.getValue();
            dataSourceModelList.addAll(service.getExtraDataSourc());
        }
        return dataSourceModelList;
    }

通過代碼進行數據源注冊

主要是用過繼承類AbstractRoutingDataSource，重寫setTargetDataSources/setDefaultTargetDataSource方法

  // 創建數據源
    public boolean createDataSource(String key, String driveClass, String url, String username, String password, String databasetype) {
        try {
            try { // 排除連接不上的錯誤
                Class.forName(driveClass);
                DriverManager.getConnection(url, username, password);// 相當於連接數據庫
            } catch (Exception e) {
                return false;
            }
            @SuppressWarnings("resource")
            DruidDataSource druidDataSource = new DruidDataSource();
            druidDataSource.setName(key);
            druidDataSource.setDriverClassName(driveClass);
            druidDataSource.setUrl(url);
            druidDataSource.setUsername(username);
            druidDataSource.setPassword(password);
            druidDataSource.setInitialSize(1); //初始化時建立物理連接的個數。初始化發生在顯示調用init方法，或者第一次getConnection時
            druidDataSource.setMaxActive(20); //最大連接池數量
            druidDataSource.setMaxWait(60000); //獲取連接時最大等待時間，單位毫秒。當鏈接數已經達到了最大鏈接數的時候，應用如果還要獲取鏈接就會出現等待的現象，等待鏈接釋放並回到鏈接池，如果等待的時間過長就應該踢掉這個等待，不然應用很可能出現雪崩現象
            druidDataSource.setMinIdle(5); //最小連接池數量
            String validationQuery = "select 1 from dual";
            druidDataSource.setTestOnBorrow(true); //申請連接時執行validationQuery檢測連接是否有效，這里建議配置為TRUE，防止取到的連接不可用
            druidDataSource.setTestWhileIdle(true);//建議配置為true，不影響性能，並且保證安全性。申請連接的時候檢測，如果空閑時間大於timeBetweenEvictionRunsMillis，執行validationQuery檢測連接是否有效。
            druidDataSource.setValidationQuery(validationQuery); //用來檢測連接是否有效的sql，要求是一個查詢語句。如果validationQuery為null，testOnBorrow、testOnReturn、testWhileIdle都不會起作用。
            druidDataSource.setFilters("stat");//屬性類型是字符串，通過別名的方式配置擴展插件，常用的插件有：監控統計用的filter:stat日志用的filter:log4j防御sql注入的filter:wall
            druidDataSource.setTimeBetweenEvictionRunsMillis(60000); //配置間隔多久才進行一次檢測，檢測需要關閉的空閑連接，單位是毫秒
            druidDataSource.setMinEvictableIdleTimeMillis(180000); //配置一個連接在池中最小生存的時間，單位是毫秒，這里配置為3分鍾180000
            druidDataSource.setKeepAlive(true); //打開druid.keepAlive之后，當連接池空閑時，池中的minIdle數量以內的連接，空閑時間超過minEvictableIdleTimeMillis，則會執行keepAlive操作，即執行druid.validationQuery指定的查詢SQL，一般為select * from dual，只要minEvictableIdleTimeMillis設置的小於防火牆切斷連接時間，就可以保證當連接空閑時自動做保活檢測，不會被防火牆切斷
            druidDataSource.setRemoveAbandoned(true); //是否移除泄露的連接/超過時間限制是否回收。
            druidDataSource.setRemoveAbandonedTimeout(3600); //泄露連接的定義時間(要超過最大事務的處理時間)；單位為秒。這里配置為1小時
            druidDataSource.setLogAbandoned(true); //移除泄露連接發生是是否記錄日志
            druidDataSource.init();
            this.dynamicTargetDataSources.put(key, druidDataSource);
            setTargetDataSources(this.dynamicTargetDataSources);// 將map賦值給父類的TargetDataSources
            super.afterPropertiesSet();// 將TargetDataSources中的連接信息放入resolvedDataSources管理
            log.info(key+"數據源初始化成功");
            //log.info(key+"數據源的概況："+druidDataSource.dump());
            return true;
        } catch (Exception e) {
            log.error(e + "");
            return false;
        }
    }

通過切面注解統一切換

定義注解

@Retention(RetentionPolicy.RUNTIME)
@Target({ElementType.METHOD, ElementType.TYPE, ElementType.PARAMETER})
@Documented
public @interface TargetDataSource {
    String value() default "master"; //該值即key值
}

定義基於線程的切換類

public class DBContextHolder {
    private static Logger log = LoggerFactory.getLogger(DBContextHolder.class);
    // 對當前線程的操作-線程安全的
    private static final ThreadLocal<String> contextHolder = new ThreadLocal<String>();

    // 調用此方法，切換數據源
    public static void setDataSource(String dataSource) {
        contextHolder.set(dataSource);
        log.info("已切換到數據源:{}",dataSource);
    }

    // 獲取數據源
    public static String getDataSource() {
        return contextHolder.get();
    }

    // 刪除數據源
    public static void clearDataSource() {
        contextHolder.remove();
        log.info("已切換到主數據源");
    }

}

定義切面

方法的注解優先級高於類注解，一般用於Service的實現類

@Aspect
@Component
@Order(Ordered.HIGHEST_PRECEDENCE)
public class DruidDBAspect {
    private static Logger logger = LoggerFactory.getLogger(DruidDBAspect.class);
    @Autowired
    private DynamicDataSource dynamicDataSource;

    /**
     * 切面點 指定注解
     * */
    @Pointcut("@annotation(com.haopan.frame.common.annotation.TargetDataSource) " +
            "|| @within(com.haopan.frame.common.annotation.TargetDataSource)")
    public void dataSourcePointCut() {

    }

    /**
     * 攔截方法指定為 dataSourcePointCut
     * */
    @Around("dataSourcePointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        MethodSignature signature = (MethodSignature) point.getSignature();
        Class targetClass = point.getTarget().getClass();
        Method method = signature.getMethod();

        TargetDataSource targetDataSource = (TargetDataSource)targetClass.getAnnotation(TargetDataSource.class);
        TargetDataSource methodDataSource = method.getAnnotation(TargetDataSource.class);
        if(targetDataSource != null || methodDataSource != null){
            String value;
            if(methodDataSource != null){
                value = methodDataSource.value();
            }else {
                value = targetDataSource.value();
            }
            DBContextHolder.setDataSource(value);
            logger.info("DB切換成功，切換至{}",value);
        }

        try {
            return point.proceed();
        } finally {
            logger.info("清除DB切換");
            DBContextHolder.clearDataSource();
        }
    }
}

分庫切換

開發過程中某個庫的某個表做了拆分操作，相同的某一次數據庫操作可能對應到不同的庫，需要對方法級別進行精確攔截，可以定義一個業務層面的切面，規定每個方法必須第一個參數為dbName，根據具體業務找到對應的庫傳參

@Around("dataSourcePointCut()")
    public Object around(ProceedingJoinPoint point) throws Throwable {
        MethodSignature signature = (MethodSignature) point.getSignature();
        Class targetClass = point.getTarget().getClass();
        Method method = signature.getMethod();

        ProjectDataSource targetDataSource = 
(ProjectDataSource)targetClass.getAnnotation(ProjectDataSource.class);
        ProjectDataSource methodDataSource = method.getAnnotation(ProjectDataSource.class);
        String value = "";
        if(targetDataSource != null || methodDataSource != null){
            //獲取方法定義參數
            DefaultParameterNameDiscoverer discover = new DefaultParameterNameDiscoverer();
            String[] parameterNames = discover.getParameterNames(method);
            //獲取傳入目標方法的參數
            Object[] args = point.getArgs();
            for (int i=0;i<parameterNames.length;i++){
                String pName = parameterNames[i];
                if(pName.toLowerCase().equals("dbname")){
                    value = ConvertOp.convert2String(args[i]);
                }
            }
            if(!StringUtil.isEmpty(value)){
                DBContextHolder.setDataSource(value);
                logger.info("DB切換成功，切換至{}",value);
            }
        }

        try {
            return point.proceed();
        } finally {
            if(!StringUtil.isEmpty(value)){
                logger.info("清除DB切換");
                DBContextHolder.clearDataSource();
            }

        }
    }

 

 

相關代碼