druid配置以及监控

1、druid监控的功能：

1. 数据源
2. SQL监控 对执行的MySQL语句进行记录，并记录执行时间、事务次数等
3. SQL防火墙 对SQL进行预编译，并统计该条SQL的数据指标
4. Web应用 对发布的服务进行监控，统计访问次数，并发数等全局信息
5. URI监控 对访问的URI进行统计，记录次数，并发数，执行jdbc数等
6. Session监控 对用户请求后保存在服务器端的session进行记录，识别出每个用户访问了多少次数据库等
7. Spring监控 （按需配置）利用aop对各个内容接口的执行时间、jdbc数进行记录

 

2、配置慢SQL记录到日志文件

@Bean(destroyMethod = "close")
@Primary
public DruidDataSource dataSource() throws SQLException {
    DruidDataSource dataSource = new DruidDataSource();
    dataSource.setDbType(Global.getProperty("jdbc.type"));
    dataSource.setDriverClassName(Global.getProperty("jdbc.driver"));//"com.mysql.jdbc.Driver"
    dataSource.setUrl(Global.getProperty("jdbc.url"));
    dataSource.setUsername(Global.getProperty("jdbc.username"));
    dataSource.setPassword(Global.getProperty("jdbc.password"));
    dataSource.setInitialSize(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.init")));
    dataSource.setMinIdle(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.minIdle")));
    dataSource.setMaxActive(ObjectUtils.toInteger(Global.getProperty("jdbc.pool.maxActive")));
    dataSource.setMaxWait(60000);
    dataSource.setTimeBetweenEvictionRunsMillis(60000);
    dataSource.setMinEvictableIdleTimeMillis(300000);
    dataSource.setValidationQuery(Global.getProperty("jdbc.testSql"));
    dataSource.setTestWhileIdle(true);
    
    // 如果设为true那么在取得连接的同时将校验连接的有效性。Default: falsed,不检测池里连接的可用性
    dataSource.setTestOnBorrow(true);
    
    // 因性能消耗大请只在需要的时候使用它。如果设为true那么在每个connection提交的时候都将校验其有效性。
    dataSource.setTestOnReturn(false);
    
    dataSource.setPoolPreparedStatements(true);
    dataSource.setMaxPoolPreparedStatementPerConnectionSize(20);
    dataSource.setFilters("stat,wall,logback"); // 开启Druid的监控统计功能,开启了druid防火墙
    
    // 配置数据库断开后自动连接
    dataSource.setLogAbandoned(true); // 关闭abandoned连接时输出错误日志
    dataSource.setRemoveAbandoned(true); // 超过时间限制是否回收
    dataSource.setRemoveAbandonedTimeout(180); // 超时时间；单位为秒。180秒=3分钟
    
    // 慢SQL配置 start
    List<Filter> filters = new ArrayList<>();
    StatFilter statfilter = new StatFilter();
    statfilter.setMergeSql(true);
    statfilter.setLogSlowSql(true);
    statfilter.setSlowSqlMillis(200);// 200ms的sql会被记录到日志中
    filters.add(statfilter);
    filters.add(logFilter());// 配置logback日志记录慢查询SQL
    // 慢SQL配置 end
    
    dataSource.setProxyFilters(filters);
    return dataSource;
}

// 慢SQL配置之logback start
@Bean
public Slf4jLogFilter logFilter(){
    Slf4jLogFilter filter = new Slf4jLogFilter();
    //filter.setDataSourceLogEnabled(true);
    //filter.setStatementExecutableSqlLogEnable(true);
    
    filter.setResultSetLogEnabled(false);
    filter.setConnectionLogEnabled(false);
    filter.setStatementParameterClearLogEnable(false);
    filter.setStatementCreateAfterLogEnabled(false);
    filter.setStatementCloseAfterLogEnabled(false);
    filter.setStatementParameterSetLogEnabled(false);
    filter.setStatementPrepareAfterLogEnabled(false);
    return  filter;
}
// 慢SQL配置之logback end

 

 　　logback-core.xml

<?xml version="1.0" encoding="UTF-8"?>
<configuration>
    <!-- %m输出的信息,%p日志级别,%t线程名,%d日期,%c类的全名,%i索引【从数字0开始递增】,,, -->
    <!-- appender是configuration的子节点，是负责写日志的组件。 -->
    <!-- ConsoleAppender：把日志输出到控制台 -->
    <appender name="STDOUT" class="ch.qos.logback.core.ConsoleAppender">
        <encoder>
            <pattern>%d %p (%file:%line\)- %m%n</pattern>
            <!-- 控制台也要使用UTF-8，不要使用GBK，否则会中文乱码 -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    
    
    <!-- RollingFileAppender：滚动记录文件，先将日志记录到指定文件，当符合某个条件时，将日志记录到其他文件 -->
    <!-- 以下的大概意思是：1.先按日期存日志，日期变了，将前一天的日志文件名重命名为XXX%日期%索引，新的日志仍然是demo.log -->
    <!--             2.如果日期没有发生变化，但是当前日志的文件大小超过1KB时，对当前日志进行分割 重命名-->
    <appender name="jsitelog" class="ch.qos.logback.core.rolling.RollingFileAppender">
        <!-- <File>log/jsite.log</File> -->
        <File>/home/wwwlogs/jsite/log.log</File>
        <!-- rollingPolicy:当发生滚动时，决定 RollingFileAppender 的行为，涉及文件移动和重命名。 -->
        <!-- TimeBasedRollingPolicy： 最常用的滚动策略，它根据时间来制定滚动策略，既负责滚动也负责出发滚动 -->
        <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
            <!-- 活动文件的名字会根据fileNamePattern的值，每隔一段时间改变一次 -->
            <!-- 文件名：log/demo.2017-12-05.0.log -->
            <!-- <fileNamePattern>log/jsite.%d.%i.log</fileNamePattern> -->
            <fileNamePattern>/home/wwwlogs/jsite/log.%d.%i.log</fileNamePattern>
            <!-- 每产生一个日志文件，该日志文件的保存期限为30天 -->
            <maxHistory>30</maxHistory>
            <timeBasedFileNamingAndTriggeringPolicy  class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
                <!-- maxFileSize:这是活动文件的大小，默认值是10MB，测试时可改成1KB看效果 -->
                <maxFileSize>10240KB</maxFileSize>
            </timeBasedFileNamingAndTriggeringPolicy>
        </rollingPolicy>
        <encoder>
            <!-- pattern节点，用来设置日志的输入格式 -->
            <pattern>
                %d %p (%file:%line\)- %m%n
            </pattern>
            <!-- 记录日志的编码:此处设置字符集 - -->
            <charset>UTF-8</charset>
        </encoder>
    </appender>
    
    
    <!-- 控制台输出日志级别 -->
    <root level="info">
        <appender-ref ref="STDOUT" />
        <appender-ref ref="jsitelog" />
    </root>
    
    
    <!-- 指定项目中某个包，当有日志操作行为时的日志记录级别 -->
    <!-- com.liyan为根包，也就是只要是发生在这个根包下面的所有日志操作行为的权限都是DEBUG -->
    <!-- 级别依次为【从高到低】：FATAL > ERROR > WARN > INFO > DEBUG > TRACE  -->
    <logger name="com.jsite" level="DEBUG">
        <appender-ref ref="jsitelog" />
    </logger>
    <!-- Project defalult level -->
    <!-- log4j.logger.org.activiti.engine.impl.persistence=DEBUG -->
    <!-- log4j.logger.org.apache.shiro=DEBUG -->
    <logger name="com.jsite" level="DEBUG" />
    <logger name="amberai.jweb.dao" level="DEBUG" />
    <logger name="com.jsite.common.security.shiro" level="DEBUG" />
    <logger name="com.jsite.common.utils.JedisUtils" level="DEBUG" />
    <logger name="com.jsite.modules.sys.web.LoginController" level="DEBUG" />
    <logger name="com.jsite.modules.oa.dao.OaNotifyDao.findCount" level="WARN" />

<!-- druid慢查询配置 [start] -->
<appender name="DruidFILE" class="ch.qos.logback.core.rolling.RollingFileAppender">
    <File>/home/wwwlogs/jsite/slow-query.log</File>
    <rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
        <!--日志文件输出的文件名 -->
        <FileNamePattern>/home/wwwlogs/jsite/slow-query.log-druid-%d{yyyy-MM-dd}
        </FileNamePattern>
        <!--日志文件保留天数 -->
        <MaxHistory>90</MaxHistory>
    </rollingPolicy>
    <encoder class="ch.qos.logback.classic.encoder.PatternLayoutEncoder">
        <!--格式化输出：%d表示日期，%thread表示线程名，%-5level：级别从左显示5个字符宽度%msg：日志消息，%n是换行符 -->
        <pattern>
            %d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger{50} - %msg%n
        </pattern>
    </encoder>
</appender>

<!-- 要想打印所有sql语句到日志 ，使用DEBUG级别 <logger name="druid" level="DEBUG"> 
　　<logger name="druid.sql.Statement" level="WARN">
    参考log4j慢sql日志的输出策略：（https://www.cnblogs.com/telwanggs/p/7484854.html）
        log4j.logger.druid.sql=WARN,druid
        log4j.logger.druid.sql.DataSource=WARN,druid
        log4j.logger.druid.sql.Connection=WARN,druid
        log4j.logger.druid.sql.Statement=WARN,druid
-->

<logger name="com.alibaba.druid.filter.stat.StatFilter" level="WARN">
    <appender-ref ref="STDOUT" />
    <appender-ref ref="DruidFILE" />
</logger>
<!-- druid慢查询配置 [end] -->

</configuration>

 

参考资料：

1、springboot 中使用Druid 数据源提供数据库监控

2、Druid 配置及内置监控，Web页面查看监控内容

3、druid监控及慢sql记录

4、Spring Boot使用Druid和监控配置

5、Druid监控功能的深入使用与配置-基于SpringBoot-完全使用 .properties配置文件

6、Druid中使用log4j2进行日志输出

7、Druid监控功能的深入使用与配置-如何记录监控数据（基于logback）

8、druid日志logback.xml配置只记录sql和时间

 

druid官方文档： 
1. Druid中使用log4j2进行日志输出 （这个配置时使用log4j2输出，其实用logback也可以） https://github.com/alibaba/druid/wiki/Druid%E4%B8%AD%E4%BD%BF%E7%94%A8log4j2%E8%BF%9B%E8%A1%8C%E6%97%A5%E5%BF%97%E8%BE%93%E5%87%BA 
2. 配置StatViewServlet配置 （这个配置比较老，不适合springboot使用，看看就行） https://github.com/alibaba/druid/wiki/%E9%85%8D%E7%BD%AE_StatViewServlet%E9%85%8D%E7%BD%AE 
3. Druid Spring Boot Starter 用于帮助你在Spring Boot项目中轻松集成Druid数据库连接池和监控。（这个文档很适合springboot的项目，但不是每一个配置项都需要写，全写了反而会起反效果） 
https://github.com/alibaba/druid/tree/master/druid-spring-boot-starter