阿里巴巴開源項目 Druid 負責人溫少訪談


本文是由轉載而來.

 

Druid是阿里巴巴開源平台上的一個項目,整個項目由數據庫連接池、插件框架和SQL解析 器組成。該項目主要是為了擴展JDBC的一些限制,可以讓程序員實現一些特殊的需求,比如向密鑰服務請求憑證、統計SQL信息、SQL性能收集、SQL注 入檢查、SQL翻譯等,程序員可以通過定制來實現自己需要的功能。

該項目在阿里巴巴內部得到了廣泛的部署,在外部也有大量的用戶群。為了使大家更好地了解和使用Druid,我們采訪了Druid項目的主要負責人——溫少(博客)。


問:溫少是ITeye的名人了,為了照顧新會員,先來個自我介紹吧! 


溫少:我2001年畢業於深圳大學,畢業后到金蝶軟件研發中心工作9年,工作內容包括工作流引擎、多數據庫支持引擎、短信網網關等。

2010年3月加入阿里巴巴至今,主要的工作是設計和實現阿里巴巴應用監控系統Dragoon,Druid和Fastjson都是監控系統實現的副產品。


問:Druid是什么?有什么作用?


溫少:Druid首先是一個數據庫連接池,但它不僅僅是一個數據庫連接池,它還包含一個ProxyDriver,一系列內置的JDBC組件庫,一個SQL Parser。


問:Druid的項目背景?目前的項目團隊情況?開源目的? 


溫少:2010年開始,我負責設計一個叫做Dragoon的監控系統,需要一些 監控組件,監控應用程序的運行情況,包括Web URI、Spring、JDBC等。為了監控SQL執行情況,我做了一個Filter-Chain模式的ProxyDriver,缺省提供 StatFilter。當時我還做了一個SQL Parser。老板說,不如我們來一個更大的計划,把連接池、SQL Parser、Proxy Driver合起來做一個項目,命名為Druid,於是Druid就誕生了。

2011年2月春節期間,我完成了連接池(DruidDataSource)的第一個版本,4月開始在生產環境測試,2012年第一季度開始大規模實施。

提交過代碼的開發者有5個人,主要代碼是我維護,有一人專門負責內部實施。

通過開源,希望有更多使用場景,更多的反饋,更多人參與其中,共同打造最好的數據庫連接池。


問:Druid支持哪些數據庫?


溫少:Druid支持所有JDBC兼容的數據庫,包括Oracle、MySql、Derby、Postgresql、SQL Server、H2等等。

Druid針對Oracle和MySql做了特別優化,比如Oracle的PS Cache內存占用優化,MySql的ping檢測優化。


問:Druid是如何擴展JDBC的?


溫少:Druid在DruidDataSourc和ProxyDriver上提供了Filter-Chain模式的擴展API,類似Serlvet的Filter,配置Filter攔截JDBC的方法調用。


問:為什么說Druid是“最好的數據庫連接池”?體現在哪些方面?這是如何實現的?


溫少:阿里巴巴是一個重度使用關系數據庫的公司,我們在生產環境中大量的使用Druid,通過長期在極高負載的生產環境中實際使用、修改和完善,讓Druid逐步發展成最好的數據庫連接池。Druid在監控、可擴展性、穩定性和性能方面都有明顯的優勢。

首先,強大的監控特性,通過Druid提供的監控功能,可以清楚知道連接池和SQL的工作情況。

  •  監控SQL的執行時間、ResultSet持有時間、返回行數、更新行數、錯誤次數、錯誤堆棧信息。
  •  SQL執行的耗時區間 分布。什么是耗時區間分布呢?比如說,某個SQL執行了1000次,其中0~1毫秒區間50次,1~10毫秒800次,10~100毫秒100 次,100~1000毫秒30次,1~10秒15次,10秒以上5次。通過耗時區間分布,能夠非常清楚知道SQL的執行耗時情況。
  •  監控連接池的物理連接創建和銷毀次數、邏輯連接的申請和關閉次數、非空等待次數、PSCache命中率等




其次,方便擴展。Druid提供了Filter-Chain模式的擴展API,可以自己編寫Filter攔截JDBC中的任何方法,可以在上面做任何事情,比如說性能監控、SQL審計、用戶名密碼加密、日志等等。

  • Druid內置提供了用於監控的StatFilter、日志輸出的Log系列Filter、防御SQL注入攻擊的WallFilter。
  • 阿里巴巴內部實現了用於數據庫密碼加密的CirceFilter,以及和Web、Spring關聯監控的DragoonStatFilter。



第三,Druid集合了開源和商業數據庫連接池的優秀特性,並結合阿里巴巴大規模苛刻生產環境的使用經驗進行優化。

  • ExceptionSorter。當一個連接產生不可恢復的異常時,例如Oracle error_code_28 session has been killed,必須立刻從連接池中逐出,否則會產生大量錯誤。目前只有Druid和JBoss DataSource實現了ExceptionSorter。
  •  PSCache內存占用優化對於支持游標的數據庫(Oracle、 SQL Server、DB2等,不包括MySql),PSCache可以大幅度提升SQL執行性能。一個PreparedStatement對應服務器一個游 標,如果PreparedStatement被緩存起來重復執行,PreparedStatement沒有被關閉,服務器端的游標就不會被關閉,性能提高 非常顯著。在類似“SELECT * FROM T WHERE ID = ?”這樣的場景,性能可能是一個數量級的提升。但在Oracle JDBC Driver中,其他的數據庫連接池(DBCP、JBossDataSource)會占用內存過多,極端情況可能大於1G。Druid調用 OracleDriver提供管理PSCache內部API。
  •  LRU是一個性能關鍵指標,特別Oracle,每個 Connection對應數據庫端的一個進程,如果數據庫連接池遵從LRU,有助於數據庫服務器優化,這是重要的指標。Druid、DBCP、 Proxool、JBoss是遵守LRU的。BoneCP、C3P0則不是。BoneCP在mock環境下性能可能還好,但在真實環境中則就不好了。


問:Druid的性能如何?能否給出一些測試對比數據? 


溫少:性能不是Druid的設計目標,但是測試數據表明,Druid性能比DBCP、C3P0、Proxool、JBoss都好。

這里有一些測試數據:http://code.alibabatech.com/wiki/pages/viewpage.action?pageId=2916539


問:談談Druid的SQL解析功能?效率如何?


溫少:Druid提供了MySql、Oracle、Postgresql、SQL-92的SQL的完整支持,這是一個手寫的高性能SQL Parser,支持Visitor模式,使得分析SQL的抽象語法樹很方便。

簡單SQL語句用時10微秒以內,復雜SQL用時30微秒。

通過Druid提供的SQL Parser可以在JDBC層攔截SQL做相應處理,比如說分庫分表、審計等。Druid防御SQL注入攻擊的WallFilter就是通過Druid的SQL Parser分析語義實現的。


問:Druid的擴展性如何? 


溫少:Druid提供Filter-Chain模式的插件框架,通過編寫Filter配置到DruidDataSource中就可以攔截JDBC的各種API,從而實現擴展。Druid提供了一系列內置Filter。


問:在SQL注入防御方面,Druid的優勢是什么?實現原理是什么?


溫少:Druid的優勢是在JDBC最低層進行攔截做判斷,不會遺漏。

Druid實現了Oracle、MySql、Postgresql、SQL-92的Parser,基於SQL語法分析實現,理解其中的SQL語義,智能、准確、誤報率低。

具體細節參考這里:http://code.alibabatech.com/wiki/display/Druid/WallFilter


問:目前Druid的應用(部署)情況?


溫少:Druid是阿里巴巴監控系統Dragoon的副產品,從Dragoon監控系統的數據來看,在阿里巴巴已經部署了600多個應用。在阿里巴巴外部也有很多Druid的用戶,外部用戶沒有正式統計數據,但經常有反饋。


問:我想將其中的某個模塊(比如監控模塊)用到其他連接池,是否可以?模塊的獨立性如何?


溫少:可以通過DruidDriver把內置的Filter用在其他連接池中。 在2011年上半年DruidDataSource不成熟的時候,我們也是這么做的。在其他連接池中使用內置的Filter,需要修改jdbc-url, 使用DruidDriver作為一個ProxyDriver。


問:我想在項目中使用,應該注意哪些事項?能否用於商業項目? 


溫少:Druid是一個開源項目,基於Apache 2.0協議,你可以免費自由使用。Druid只支持JDK 6以上版本,不支持JDK 1.4和JDK 5.0。


問:配置是否復雜?能否給出一個典型的配置實例? 


溫少:為了方便大家遷移,Druid的配置和DBCP是基本一致的,如果你原來 是使用DBCP,遷移是十分方便的,只需要把corg.apache.commons.dbcp.BasicDataSource修改為 om.alibaba.druid.pool.DruidDataSource就好了。

以下是一個參考配置:

 

 1     <bean <span style="color:#FF0000;">id</span>="dataSource" <span style="color:#FF0000;">class</span>="com.alibaba.druid.pool.DruidDataSource" <span style="color:#FF0000;">init-method</span>="init" <span style="color:#FF0000;">destroy-method</span>="close">   
 2         <property <span style="color:#FF0000;">name</span>="url" <span style="color:#FF0000;">value</span>="${jdbc_url}" />  
 3         <property <span style="color:#FF0000;">name</span>="username" <span style="color:#FF0000;">value</span>="${jdbc_user}" />  
 4         <property <span style="color:#FF0000;">name</span>="password" <span style="color:#FF0000;">value</span>="${jdbc_password}" />  
 5            
 6         <property <span style="color:#FF0000;">name</span>="filters" <span style="color:#FF0000;">value</span>="stat" />  
 7        
 8         <property <span style="color:#FF0000;">name</span>="maxActive" <span style="color:#FF0000;">value</span>="20" />  
 9         <property <span style="color:#FF0000;">name</span>="initialSize" <span style="color:#FF0000;">value</span>="1" />  
10         <property <span style="color:#FF0000;">name</span>="maxWait" <span style="color:#FF0000;">value</span>="60000" />  
11         <property <span style="color:#FF0000;">name</span>="minIdle" value="1" />  
12        
13         <property <span style="color:#FF0000;">name</span>="timeBetweenEvictionRunsMillis" <span style="color:#FF0000;">value</span>="60000" />  
14         <property <span style="color:#FF0000;">name</span>="minEvictableIdleTimeMillis" <span style="color:#FF0000;">value</span>="300000" />  
15        
16         <property <span style="color:#FF0000;">name</span>="validationQuery" <span style="color:#FF0000;">value</span>="SELECT 'x'" />  
17         <property <span style="color:#FF0000;">name</span>="testWhileIdle" <span style="color:#FF0000;">value</span>="true" />  
18         <property <span style="color:#FF0000;">name</span>="testOnBorrow" <span style="color:#FF0000;">value</span>="false" />  
19         <property <span style="color:#FF0000;">name</span>="testOnReturn" <span style="color:#FF0000;">value</span>="false" />  
20            
21         <property <span style="color:#FF0000;">name</span>="poolPreparedStatements" <span style="color:#FF0000;">value</span>="true" />  
22         <property <span style="color:#FF0000;">name</span>="maxPoolPreparedStatementPerConnectionSize" <span style="color:#FF0000;">value</span>="50" />  
23     </bean>  

 

 

在上面的配置中,通常你需要配置url、username、password,maxActive這三項。

在DruidDataSource中,你可以不配置DriverClass,它根據url自動識別。Druid能夠自動識別20多中url,常見的JDBC Driver都包括了。

問:我目前使用其他連接池(DBCP/C3P0/Proxool等),如何遷移到Druid?


溫少:從DBCP遷移最方便,把org.apache.commons.dbcp.BasicDataSource修改為om.alibaba.druid.pool.DruidDataSource就好了。

Druid網站上提供了Druid/DBCP/C3P0/JBoss/WebLogic的參數對照表,通過這個對照表來遷移你目前的配置。


問:其他開發者如何反饋問題、提交bug?


溫少:Druid源碼托管在github.com上,項目地址是https://github.com/AlibabaTech/druid

你可以在github上提交patch和issue(包括bug和新特性)。你也可以加入我們的QQ群92748305,和開發者以及其他用戶一起交流。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM