阿里雲sql監控配置-druid

  今天我們說說數據源和數據庫連接池，熟悉java開發的同仁應該都了解C3PO，在這里不做過多的贅述了，今天我們說的是阿里DRUID，druid是后起之秀，因為它的優秀很快占領了使用市場，下邊我們一起來看看druid數據源的配置以及druid監控的配置和監控的實現邏輯。

1、druid數據源配置

       下面是druid的數據源配置項，這些配置項都是com.alibaba.druid.pool.DruidDataSource類和其基類com.alibaba.druid.pool.DruidAbstractDataSource的public final屬性，這些配置型和C3P0的數據源配置項基本一樣，有個別的是明白發生了變化但是參數所表示的意思不變，還有一些參數是druid自己擴展的，其中filters屬性就是傑出代表，次屬性是DruidAbstractDataSource類的，是一個List<Filter>的集合，此屬性提供了三個可選值：監控統計用的stat、日志用的log4j、 防御sql注入的wall，這三個值可以單獨使用也可以兩兩組合或者一起使用，組合使用的時候不同值之間用逗號隔開。有人可能會有疑問了，不是一個List集合嗎，為什么這里卻是用逗號分隔的，那是因為druid在賦值的時候有特殊處理，至於是如何處理的在下邊我們會說到。

配置	缺省值	說明
name		配置這個屬性的意義在於，如果存在多個數據源，監控的時候 可以通過名字來區分開來。如果沒有配置，將會生成一個名字， 格式是："DataSource-" + System.identityHashCode(this)
jdbcUrl		連接數據庫的url，不同數據庫不一樣。例如： mysql : jdbc:mysql://10.20.153.104:3306/druid2  oracle : jdbc:oracle:thin:@10.20.149.85:1521:ocnauto
username		連接數據庫的用戶名
password		連接數據庫的密碼。如果你不希望密碼直接寫在配置文件中， 可以使用ConfigFilter。詳細看這里： https://github.com/alibaba/druid/wiki/%E4%BD%BF%E7%94%A8ConfigFilter
driverClassName	根據url自動識別	這一項可配可不配，如果不配置druid會根據url自動識別dbType， 然后選擇相應的driverClassName
initialSize	0	初始化時建立物理連接的個數。初始化發生在顯示調用init方法， 或者第一次getConnection時
maxActive	8	最大連接池數量
maxIdle	8	已經不再使用，配置了也沒效果
minIdle		最小連接池數量
maxWait		獲取連接時最大等待時間，單位毫秒。配置了maxWait之后， 缺省啟用公平鎖，並發效率會有所下降， 如果需要可以通過配置useUnfairLock屬性為true使用非公平鎖。
poolPreparedStatements	false	是否緩存preparedStatement，也就是PSCache。 PSCache對支持游標的數據庫性能提升巨大，比如說oracle。 在mysql5.5以下的版本中沒有PSCache功能，建議關閉掉。 5.5及以上版本有PSCache，建議開啟。
maxOpenPreparedStatements	-1	要啟用PSCache，必須配置大於0，當大於0時， poolPreparedStatements自動觸發修改為true。 在Druid中，不會存在Oracle下PSCache占用內存過多的問題， 可以把這個數值配置大一些，比如說100
validationQuery		用來檢測連接是否有效的sql，要求是一個查詢語句。 如果validationQuery為null，testOnBorrow、testOnReturn、 testWhileIdle都不會其作用。
testOnBorrow	true	申請連接時執行validationQuery檢測連接是否有效， 做了這個配置會降低性能。
testOnReturn	false	歸還連接時執行validationQuery檢測連接是否有效， 做了這個配置會降低性能
testWhileIdle	false	建議配置為true，不影響性能，並且保證安全性。 申請連接的時候檢測，如果空閑時間大於 timeBetweenEvictionRunsMillis， 執行validationQuery檢測連接是否有效。
timeBetweenEvictionRunsMillis		有兩個含義： 1) Destroy線程會檢測連接的間隔時間  2) testWhileIdle的判斷依據，詳細看testWhileIdle屬性的說明
numTestsPerEvictionRun		不再使用，一個DruidDataSource只支持一個EvictionRun
minEvictableIdleTimeMillis		Destory線程中如果檢測到當前連接的最后活躍時間和當前時間的差值大於 minEvictableIdleTimeMillis，則關閉當前連接。
connectionInitSqls		物理連接初始化的時候執行的sql
exceptionSorter	根據dbType自動識別	當數據庫拋出一些不可恢復的異常時，拋棄連接
filters		屬性類型是字符串，通過別名的方式配置擴展插件， 常用的插件有： 監控統計用的filter:stat  日志用的filter:log4j  防御sql注入的filter:wall
proxyFilters		類型是List<com.alibaba.druid.filter.Filter>， 如果同時配置了filters和proxyFilters， 是組合關系，並非替換關系
removeAbandoned		對於建立時間超過removeAbandonedTimeout的連接強制關閉
removeAbandonedTimeout		指定連接建立多長時間就需要被強制關閉
logAbandoned		指定發生removeabandoned的時候，是否記錄當前線程的堆棧信息到日志中

2、druid監控的配置與監控訪問

 要使用druid監控需要做好兩個配置：

1）、在配置數據源時需要配置filters並且賦值你需要使用的監控項（stat、log4j、wall）；

2）、需要在項目的web.xml中配置druid的自定義servlet（com.alibaba.druid.support.http.StatViewServlet），配置樣例如下代碼所示：

<servlet>  
        <servlet-name>DruidStatView</servlet-name>  
        <servlet-class>com.alibaba.druid.support.http.StatViewServlet</servlet-class> </servlet> <servlet-mapping> <servlet-name>DruidStatView</servlet-name> <url-pattern>/druid/*</url-pattern> </servlet-mapping>

3）、監控系統的訪問：http://IP:PORT/projectName/druid/（http://localhost:8088/cd_management/druid/sql.html），監控效果如下圖所示：

3、filters屬性的賦值邏輯

        上面有提到filters的配置項有三個，可以隨機組合也可以一起使用，也有提到filters是一個List集合，那我們來看看druid是如何賦值的，如下源碼所示，賦值時調用的setFilters(String filters)方法，最終是通過逗號分隔為數組然后遍歷調用FilterManager.loadFilter(this.filters, item.trim())，然后用反射機制生成相應的對象並添加到Filter集合。

public void setFilters(String filters) throws SQLException { if (filters != null && filters.startsWith("!")) { filters = filters.substring(1); this.clearFilters(); } this.addFilters(filters); } public void addFilters(String filters) throws SQLException { if (filters == null || filters.length() == 0) { return; } String[] filterArray = filters.split("\\,"); for (String item : filterArray) { FilterManager.loadFilter(this.filters, item.trim()); } }

 public static void loadFilter(List<Filter> filters, String filterName) throws SQLException { if (filterName.length() == 0) { return; } String filterClassNames = getFilter(filterName); if (filterClassNames != null) { for (String filterClassName : filterClassNames.split(",")) { if (existsFilter(filters, filterClassName)) { continue; } Class<?> filterClass = Utils.loadClass(filterClassName); if (filterClass == null) { LOG.error("load filter error, filter not found : " + filterClassName); continue; } Filter filter; try { filter = (Filter) filterClass.newInstance(); } catch (ClassCastException e) { LOG.error("load filter error.", e); continue; } catch (InstantiationException e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } catch (IllegalAccessException e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } filters.add(filter); } return; } if (existsFilter(filters, filterName)) { return; } Class<?> filterClass = Utils.loadClass(filterName); if (filterClass == null) { LOG.error("load filter error, filter not found : " + filterName); return; } try { Filter filter = (Filter) filterClass.newInstance(); filters.add(filter); } catch (Exception e) { throw new SQLException("load managed jdbc driver event listener error. " + filterName, e); } }

4、druid監控實現邏輯

     要說明druid監控邏輯從如下三個方面切入分析：

      1）、監控的數據什么時候生成

       在這里我們拿Spring和druid整合案例來分析說明druid監控數據的生成，上面我們有提到要使用druid的監控空能需要配置filters，並且filters可以配置多個，這里druid關於這些filter的處理其實借鑒了過濾器鏈的原理，druid關於監控數據的收集處理邏輯是這樣的，我們從Spring的JdbcTemplate類開始看，如下源碼一，是一個查詢的處理，rs = ps.executeQuery()是PreparedStatement開始執行sql從數據庫查詢數據的開始，這里我們給ps對象賦予的是DruidPooledPreparedStatement類對象，所以進入DruidPooledPreparedStatement類我們來看它的具體實現。

        源碼二是DruidPooledPreparedStatement類對executeQuery方法的實現，這個方法里面最關鍵的是ResultSet rs = stmt.executeQuery()這句，stmt是PreparedStatementProxyImpl類的類對象。

        源碼三是PreparedStatementProxyImpl類對executeQuery方法的實現，這個方法實現中調用了父類的createChain()方法，源碼四為父類方法實現，這個方法的返回值是一個過濾器鏈類FilterChainImpl類對象，FilterChainImpl類的

preparedStatement_executeQuery(PreparedStatementProxy statement)方法實現如源碼五。

public <T> T query( PreparedStatementCreator psc, final PreparedStatementSetter pss, final ResultSetExtractor<T> rse) throws DataAccessException { Assert.notNull(rse, "ResultSetExtractor must not be null"); logger.debug("Executing prepared SQL query"); return execute(psc, new PreparedStatementCallback<T>() { @Override public T doInPreparedStatement(PreparedStatement ps) throws SQLException { ResultSet rs = null; try { if (pss != null) { pss.setValues(ps); } rs = ps.executeQuery(); ResultSet rsToUse = rs; if (nativeJdbcExtractor != null) { rsToUse = nativeJdbcExtractor.getNativeResultSet(rs); } return rse.extractData(rsToUse); } finally { JdbcUtils.closeResultSet(rs); if (pss instanceof ParameterDisposer) { ((ParameterDisposer) pss).cleanupParameters(); } } } }); }

public ResultSet executeQuery() throws SQLException { checkOpen(); incrementExecuteCount(); transactionRecord(sql); oracleSetRowPrefetch(); conn.beforeExecute(); try { ResultSet rs = stmt.executeQuery(); if (rs == null) { return null; } DruidPooledResultSet poolableResultSet = new DruidPooledResultSet(this, rs); addResultSetTrace(poolableResultSet); return poolableResultSet; } catch (Throwable t) { errorCheck(t); throw checkException(t); } finally { conn.afterExecute(); } }

public ResultSet executeQuery() throws SQLException { firstResultSet = true; updateCount = null; lastExecuteSql = sql; lastExecuteType = StatementExecuteType.ExecuteQuery; lastExecuteStartNano = -1L; lastExecuteTimeNano = -1L; return createChain().preparedStatement_executeQuery(this); }

 public FilterChainImpl createChain() { FilterChainImpl chain = this.filterChain; if (chain == null) { chain = new FilterChainImpl(this.getConnectionProxy().getDirectDataSource()); } else { this.filterChain = null; } return chain; }

@Override
    public ResultSetProxy preparedStatement_executeQuery(PreparedStatementProxy statement) throws SQLException { if (this.pos < filterSize) { return nextFilter().preparedStatement_executeQuery(this, statement); } ResultSet resultSet = statement.getRawObject().executeQuery(); if (resultSet == null) { return null; } return new ResultSetProxyImpl(statement, resultSet, dataSource.createResultSetId(), statement.getLastExecuteSql()); }

        看了如上源碼我們會發現FilterChainImpl類的preparedStatement_executeQuery方法執行的時候會先執行過濾器類的此方法，所以我們看看過濾器類做了什么，這里我們拿SQL監控的過濾器類（FilterEventAdapter）來分析，如下源碼是此類的方法實現。我看可以看到此方法先調用了statementExecuteQueryBefore(statement, statement.getSql())方法，然后調用了下一個過濾器類的查詢方法，在方法正常執行以后又調用了statementExecuteQueryAfter(statement, statement.getSql(), resultSet)方法，在方法執行異常的時候調用了statement_executeErrorAfter(statement, statement.getSql(), error)，這些方法的作用就是保存SQL執行中的監控數據。說到這里從流程上就說明了druid監控數據的來源。

public ResultSetProxy preparedStatement_executeQuery(FilterChain chain, PreparedStatementProxy statement) throws SQLException { try { statementExecuteQueryBefore(statement, statement.getSql()); ResultSetProxy resultSet = chain.preparedStatement_executeQuery(statement); if (resultSet != null) { statementExecuteQueryAfter(statement, statement.getSql(), resultSet); resultSetOpenAfter(resultSet); } return resultSet; } catch (SQLException error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } catch (RuntimeException error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } catch (Error error) { statement_executeErrorAfter(statement, statement.getSql(), error); throw error; } }

      2）、監控的數據保存到哪里

     這里我們簡單說明，數據是保存到DruidDataSource類的dataSourceStat對象中。

      3）、監控的請求如何處理的

              要使用druid的監控功能需要配置com.alibaba.druid.support.http.StatViewServlet，這是一個繼承自HttpServlet的servlet，用來處理訪問druid監控的請求，具體處理流程如下：

         

5、如何去除監控頁面的廣告

       1） 使用過druid的同仁應該都了解，druid的監控頁面加載以后，footer頁是有阿里的廣告的如下圖所示，如果是一個商業項目這個是很不雅也是不允許的，那么我們來看看如何去除廣告。

 

       

       2）要去除這個廣告需要修改druid.jar的源碼文件，具體方法是，用winRAR打開jar包，在druid-1.1.6.jar\support\http\resources\js\common.js路徑下找到文件，修改common.js中如下圖所示的代碼，刪除buildFooter函數中的代碼即可：

buildFooter : function() { var html ='<footer class="footer">'+ ' <div class="container">'+ '<a href="https://render.alipay.com/p/s/taobaonpm_click/druid_banner_click" target="new"><img src="https://render.alipay.com/p/s/taobaonpm_click/druid_banner"></a><br/>' + ' powered by <a href="https://github.com/alibaba/" target="_blank">AlibabaTech</a> & <a href="http://www.sandzhang.com/" target="_blank">sandzhang</a> & <a href="http://melin.iteye.com/" target="_blank">melin</a> & <a href="https://github.com/shrekwang" target="_blank">shrek.wang</a>'+ ' </div>'+ ' </footer>'; $(document.body).append(html); },