一、連接池原理
在實際應用開發中,特別是在WEB應用系統中,如果JSP、Servlet或EJB使用JDBC直接訪問數據庫中的數據,每一次數據訪問請求都必須經歷建立數據庫連接、打開數據庫、存取數據和關閉數據庫連接等步驟,而連接並打開數據庫是一件既消耗資源又費時的工作,如果頻繁發生這種數據庫操作,系統的性能必然會急劇下降,甚至會導致系統崩潰。數據庫連接池技術是解決這個問題最常用的方法,在許多應用程序服務器(例如:Weblogic,WebSphere,JBoss)中,基本都提供了這項技術,無需自己編程,但是,深入了解這項技術是非常必要的。
數據庫連接池技術的思想非常簡單,將數據庫連接作為對象存儲在一個Vector對象中,一旦數據庫連接建立后,不同的數據庫訪問請求就可以共享這些連接,這樣,通過復用這些已經建立的數據庫連接,可以克服上述缺點,極大地節省系統資源和時間。
數據庫連接池的主要操作如下:
(1)建立數據庫連接池對象(服務器啟動)。
(2)按照事先指定的參數創建初始數量的數據庫連接(即:空閑連接數)。
(3)對於一個數據庫訪問請求,直接從連接池中得到一個連接。如果數據庫連接池對象中沒有空閑的連接,且連接數沒有達到最大(即:最大活躍連接數),創建一個新的數據庫連接。
(4)存取數據庫。
(5)關閉數據庫,釋放所有數據庫連接(此時的關閉數據庫連接,並非真正關閉,而是將其放入空閑隊列中。如實際空閑連接數大於初始空閑連接數則釋放連接)。
(6)釋放數據庫連接池對象(服務器停止、維護期間,釋放數據庫連接池對象,並釋放所有連接)。
二.常見的數據庫連接池
常見的數據庫連接池有:proxool,c3p0,dbcp,DBPool,還有各個應用服務器自帶的連接池.
hibernate開發組推薦使用c3p0;
spring開發組推薦使用dbcp(dbcp連接池有weblogic連接池同樣的問題,就是強行關閉連接或數據庫重啟后,無法reconnect ,告訴連接被重置,這個設置可以解決);
hibernate in action推薦使用c3p0和proxool;
三、連接池中常見的參數概述
(1)dbcp:
driverClassName 驅動
url 連接字符串
username 用戶名
password 密碼
maxActive 連接池支持的最大連接數
maxIdle 連接池中最多可空閑maxIdle個連接
minIdle 連接池中最少可空閑maxIdle個連接
initialSize 初始化連接數目
maxWait 連接池中連接用完時,新的請求等待時間,毫秒
timeBetweenEvictionRunsMillis、timeBetweenEvictionRunsMillis和minEvictableIdleTimeMillis一起使用,
每timeBetweenEvictionRunsMillis毫秒檢查一次連接池中空閑的連接,把空閑時間超過minEvictableIdleTimeMillis毫秒的連接斷開,直到連接池中的連接數到minIdle為止。
minEvictableIdleTimeMillis 連接池中連接可空閑的時間,毫秒
removeAbandoned true,false,是否清理removeAbandonedTimeout秒沒有使用的活動連接,清理后並沒有放回連接池
removeAbandonedTimeout 活動連接的最大空閑時間
logAbandoned true,false,連接池收回空閑的活動連接時是否打印消息
minEvictableIdleTimeMillis,removeAbandonedTimeout這兩個參數針對的連接對象不一樣,minEvictableIdleTimeMillis針對連接池中的連接對象,removeAbandonedTimeout針對未被close的活動連接.
在dbcp使用中遇到的問題:
當短時間之內活動連接達到maxActive,再請求連接,等maxWait秒后連接池就會報出錯來:Cannot get a connection, pool exhausted.在這maxWait秒里removeAbandoned並沒有起作用,出錯后連接池就會把所有的連接斷開,為什么這時候 removeAbandoned沒有起作用呢?
(2)c3p0:
driverClass
jdbcUrl
user
password
minPoolSize
maxPoolSize
initialPoolSize
acquireIncrement 池中沒有空閑連接時,一次請求獲取的連接數
maxIdleTime 池中連接最大空閑時間
acquireRetryAttempts 獲取連接失敗后,重新嘗試的次數
acquireRetryDelay 嘗試連接間隔時間,毫秒
checkoutTimeout 等待連接時間,0為無限等待,毫秒
DebugUnreturnedConnectionStackTraces true,false,是否收回未返回的活動連接
unreturnedConnectionTimeout 活動連接的時間.
c3p0中的問題:
unreturnedConnectionTimeout是給每個活動連接一個時間限制,到點兒就收回,不管有沒有正在使用連接.這樣不是太好,應該是從最后一次使用連接才開始計時才好.那有沒有這樣的一個參數從最后一次使用計時呢?
四、以下通過案例模擬數據庫連接池的內部原理,讓開發人員進一步了解數據庫連接池原理
1、引入需要的jar,如下圖所示:
2、項目結構,如下圖所示:
3、ConnectionPool類,數據庫連接池
package com.ljq.sql; import java.sql.Connection; import java.sql.DatabaseMetaData; import java.sql.Driver; import java.sql.DriverManager; import java.sql.SQLException; import java.sql.Statement; import java.util.Enumeration; import java.util.Vector; @SuppressWarnings("unchecked") public class ConnectionPool { private String jdbcDriver = "oracle.jdbc.driver.OracleDriver"; // 數據庫驅動 private String dbUrl = "jdbc:oracle:thin:@localhost:1521:orcl"; // 數據 URL private String dbUsername = "test"; // 數據庫用戶名 private String dbPassword = "test"; // 數據庫用戶密碼 private String testTable = ""; // 測試連接是否可用的測試表名,默認沒有測試表 private int initialConnections = 10; // 連接池的初始大小 private int incrementalConnections = 5;// 連接池自動增加的大小 private int maxConnections = 50; // 連接池最大的大小 private Vector connections = null; // 存放連接池中數據庫連接的向量, 初始時為 null,它中存放的對象為PooledConnection 型 public ConnectionPool(){ } /** * 構造函數 * * @param jdbcDriver * String JDBC 驅動類串 * @param dbUrl * String 數據庫 URL * @param dbUsername * String 連接數據庫用戶名 * @param dbPassword * String 連接數據庫用戶的密碼 */ public ConnectionPool(String jdbcDriver, String dbUrl, String dbUsername, String dbPassword) { this.jdbcDriver = jdbcDriver; this.dbUrl = dbUrl; this.dbUsername = dbUsername; this.dbPassword = dbPassword; } /** * 返回連接池的初始大小 * * @return 初始連接池中可獲得的連接數量 */ public int getInitialConnections() { return this.initialConnections; } /** * 設置連接池的初始大小 * * @param 用於設置初始連接池中連接的數量 */ public void setInitialConnections(int initialConnections) { this.initialConnections = initialConnections; } /** * 返回連接池自動增加的大小 * * @return 連接池自動增加的大小 */ public int getIncrementalConnections() { return this.incrementalConnections; } /** * 設置連接池自動增加的大小 * * @param 連接池自動增加的大小 */ public void setIncrementalConnections(int incrementalConnections) { this.incrementalConnections = incrementalConnections; } /** * 返回連接池中最大的可用連接數量 * * @return 連接池中最大的可用連接數量 */ public int getMaxConnections() { return this.maxConnections; } /** * 設置連接池中最大可用的連接數量 * * @param 設置連接池中最大可用的連接數量值 */ public void setMaxConnections(int maxConnections) { this.maxConnections = maxConnections; } /** * 獲取測試數據庫表的名字 * * @return 測試數據庫表的名字 */ public String getTestTable() { return this.testTable; } /** * 設置測試表的名字 * * @param testTable * String 測試表的名字 */ public void setTestTable(String testTable) { this.testTable = testTable; } /** * 創建一個數據庫連接池,連接池中的可用連接的數量采用類成員 * * initialConnections 中設置的值 */ public synchronized void createPool() throws Exception { // 確保連接池沒有創建 // 如果連接池己經創建了,保存連接的向量connections不會為空 if (connections != null) { return; // 如果己經創建,則返回 } // 實例化JDBC Driver中指定的驅動類實例 Driver driver = (Driver) (Class.forName(this.jdbcDriver).newInstance()); DriverManager.registerDriver(driver); // 注冊JDBC驅動程序 // 創建保存連接的向量 , 初始時有0個元素 connections = new Vector(); // 根據initialConnections中設置的值,創建連接。 createConnections(this.initialConnections); System.out.println(" 數據庫連接池創建成功! "); } /** * 創建由 numConnections 指定數目的數據庫連接 , 並把這些連接放入 connections 向量中 * * @param numConnections * 要創建的數據庫連接的數目 */ @SuppressWarnings("unchecked") private void createConnections(int numConnections) throws SQLException { // 循環創建指定數目的數據庫連接 for (int x = 0; x < numConnections; x++) { // 是否連接池中的數據庫連接的數量己經達到最大? // 最大值由類成員 maxConnections指出,如果 maxConnections 為 0 或負數,表示連接數量沒有限制。 // 如果連接數己經達到最大,即退出。 if (this.maxConnections > 0 && this.connections.size() >= this.maxConnections) { break; } // add a new PooledConnection object to connections vector // 增加一個連接到連接池中(向量 connections 中) try { connections.addElement(new PooledConnection(newConnection())); } catch (SQLException e) { System.out.println(" 創建數據庫連接失敗! " + e.getMessage()); throw new SQLException(); } System.out.println(" 數據庫連接己創建 ......"); } } /** * 創建一個新的數據庫連接並返回它 * * @return 返回一個新創建的數據庫連接 */ private Connection newConnection() throws SQLException { // 創建一個數據庫連接 Connection conn = DriverManager.getConnection(dbUrl, dbUsername, dbPassword); // 如果這是第一次創建數據庫連接,即檢查數據庫,獲得此數據庫允許支持的最大客戶連接數目 // connections.size()==0 表示目前沒有連接己被創建 if (connections.size() == 0) { DatabaseMetaData metaData = conn.getMetaData(); int driverMaxConnections = metaData.getMaxConnections(); // 數據庫返回的 driverMaxConnections 若為 0 ,表示此數據庫沒有最大連接限制,或數據庫的最大連接限制不知道 // driverMaxConnections 為返回的一個整數,表示此數據庫允許客戶連接的數目 // 如果連接池中設置的最大連接數量大於數據庫允許的連接數目 , 則置連接池的最大連接數目為數據庫允許的最大數目 if (driverMaxConnections > 0 && this.maxConnections > driverMaxConnections) { this.maxConnections = driverMaxConnections; } } return conn; // 返回創建的新的數據庫連接 } /** * 通過調用 getFreeConnection() 函數返回一個可用的數據庫連接 , 如果當前沒有可用的數據庫連接, * 並且更多的數據庫連接不能創建(如連接池大小的限制),此函數等待一會再嘗試獲取。 * * @return 返回一個可用的數據庫連接對象 */ public synchronized Connection getConnection() throws SQLException { // 確保連接池己被創建 if (connections == null) { return null; // 連接池還沒創建,則返回 null } Connection conn = getFreeConnection(); // 獲得一個可用的數據庫連接 // 如果目前沒有可以使用的連接,即所有的連接都在使用中 while (conn == null) { // 等一會再試 wait(250); // 重新再試,直到獲得可用的連接,如果getFreeConnection() 返回的為 null // 則表明創建一批連接后也不可獲得可用連接 conn = getFreeConnection(); } return conn; // 返回獲得的可用的連接 } /** * 本函數從連接池向量 connections 中返回一個可用的的數據庫連接,如果 當前沒有可用的數據庫連接, * 本函數則根據incrementalConnections 設置 的值創建幾個數據庫連接,並放入連接池中。 * 如果創建后,所有的連接仍都在使用中,則返回 null * * @return 返回一個可用的數據庫連接 */ private Connection getFreeConnection() throws SQLException { // 從連接池中獲得一個可用的數據庫連接 Connection conn = findFreeConnection(); if (conn == null) { // 如果目前連接池中沒有可用的連接 // 創建一些連接 createConnections(incrementalConnections); // 重新從池中查找是否有可用連接 conn = findFreeConnection(); if (conn == null) { // 如果創建連接后仍獲得不到可用的連接,則返回 null return null; } } return conn; } /** * 查找連接池中所有的連接,查找一個可用的數據庫連接,如果沒有可用的連接,返回 null * * @return 返回一個可用的數據庫連接 */ private Connection findFreeConnection() throws SQLException { Connection conn = null; PooledConnection pConn = null; // 獲得連接池向量中所有的對象 Enumeration enumerate = connections.elements(); // 遍歷所有的對象,看是否有可用的連接 while (enumerate.hasMoreElements()) { pConn = (PooledConnection) enumerate.nextElement(); if (!pConn.isBusy()) { // 如果此對象不忙,則獲得它的數據庫連接並把它設為忙 conn = pConn.getConnection(); pConn.setBusy(true); // 測試此連接是否可用 if (!testConnection(conn)) { // 如果此連接不可再用了,則創建一個新的連接,並替換此不可用的連接對象,如果創建失敗,返回 null try { conn = newConnection(); } catch (SQLException e) { System.out.println(" 創建數據庫連接失敗! " + e.getMessage()); return null; } pConn.setConnection(conn); } break; // 己經找到一個可用的連接,退出 } } return conn;// 返回找到到的可用連接 } /** * 測試一個連接是否可用,如果不可用,關掉它並返回false,否則可用返回true * * @param conn * 需要測試的數據庫連接 * * @return 返回 true 表示此連接可用, false 表示不可用 */ private boolean testConnection(Connection conn) { try { // 判斷測試表是否存在 if (testTable.equals("")) { // 如果測試表為空,試着使用此連接的 setAutoCommit()方法來判斷連接是否可用(此方法只在部分數據庫可用,如果不可用,拋出異常)。注意:使用測試表的方法更可靠 conn.setAutoCommit(true); } else { // 有測試表的時候使用測試表測試 // check if this connection is valid Statement stmt = conn.createStatement(); stmt.execute("select count(*) from " + testTable); } } catch (SQLException e) { // 上面拋出異常,此連接己不可用,關閉它,並返回 false; closeConnection(conn); return false; } // 連接可用,返回 true return true; } /** * 返回一個數據庫連接到連接池中,並把此連接置為空閑。 * 所有使用連接池獲得的數據庫連接均應在不使用此連接時返回它。 * * @param 需返回到連接池中的連接對象 */ public void returnConnection(Connection conn) { // 確保連接池存在,如果連接沒有創建(不存在),直接返回 if (connections == null) { System.out.println(" 連接池不存在,無法返回此連接到連接池中 !"); return; } PooledConnection pConn = null; Enumeration enumerate = connections.elements(); // 遍歷連接池中的所有連接,找到這個要返回的連接對象 while (enumerate.hasMoreElements()) { pConn = (PooledConnection) enumerate.nextElement(); // 先找到連接池中的要返回的連接對象 if (conn == pConn.getConnection()) { // 找到了 , 設置此連接為空閑狀態 pConn.setBusy(false); break; } } } /** * 刷新連接池中所有的連接對象 * */ public synchronized void refreshConnections() throws SQLException { // 確保連接池己創新存在 if (connections == null) { System.out.println(" 連接池不存在,無法刷新 !"); return; } PooledConnection pConn = null; Enumeration enumerate = connections.elements(); while (enumerate.hasMoreElements()) { // 獲得一個連接對象 pConn = (PooledConnection) enumerate.nextElement(); // 如果對象忙則等 5 秒 ,5 秒后直接刷新 if (pConn.isBusy()) { wait(5000); // 等 5 秒 } // 關閉此連接,用一個新的連接代替它。 closeConnection(pConn.getConnection()); pConn.setConnection(newConnection()); pConn.setBusy(false); } } /** * 關閉連接池中所有的連接,並清空連接池。 * */ public synchronized void closeConnectionPool() throws SQLException { // 確保連接池存在,如果不存在,返回 if (connections == null) { System.out.println(" 連接池不存在,無法關閉 !"); return; } PooledConnection pConn = null; Enumeration enumerate = connections.elements(); while (enumerate.hasMoreElements()) { pConn = (PooledConnection) enumerate.nextElement(); // 如果忙,等 5 秒 if (pConn.isBusy()) { wait(5000); // 等 5 秒 } // 5 秒后直接關閉它 closeConnection(pConn.getConnection()); // 從連接池向量中刪除它 connections.removeElement(pConn); } // 置連接池為空 connections = null; } /** * 關閉一個數據庫連接 * * @param 需要關閉的數據庫連接 * */ private void closeConnection(Connection conn) { try { if (conn != null) { conn.close(); conn = null; } } catch (SQLException e) { System.out.println(" 關閉數據庫連接出錯: " + e.getMessage()); e.printStackTrace(); } } /** * 使程序等待給定的毫秒數 * * @param 給定的毫秒數 * */ private void wait(int mSeconds) { try { Thread.sleep(mSeconds); } catch (InterruptedException e) { e.printStackTrace(); } } /** * 內部使用的用於保存連接池中連接對象的類 * * 此類中有兩個成員,一個是數據庫的連接,另一個是指示此連接是否正在使用的標志。 */ class PooledConnection { Connection connection = null;// 數據庫連接 boolean busy = false; // 此連接是否正在使用的標志,默認沒有正在使用 // 構造函數,根據一個 Connection 構告一個 PooledConnection 對象 public PooledConnection(Connection connection) { this.connection = connection; } // 返回此對象中的連接 public Connection getConnection() { return connection; } // 設置此對象的,連接 public void setConnection(Connection connection) { this.connection = connection; } // 獲得對象連接是否忙 public boolean isBusy() { return busy; } // 設置對象的連接正在忙 public void setBusy(boolean busy) { this.busy = busy; } } }
四、ConnectionPoolTest測試類
package junit.test; import java.sql.Connection; import org.junit.Test; import com.ljq.sql.ConnectionPool; public class ConnectionPoolTest { /** * 連接池調用方法一 * @throws Exception */ @Test public void conn() throws Exception{ ConnectionPool connPool=new ConnectionPool(); connPool.createPool(); Connection conn=connPool.getConnection(); System.out.println("conn: "+conn); } /** * 連接池調用方法二 * * @throws Exception */ @Test public void conn2() throws Exception{ ConnectionPool connPool=new ConnectionPool("oracle.jdbc.driver.OracleDriver", "jdbc:oracle:thin:@localhost:1521:orcl", "test", "test"); connPool.createPool(); Connection conn=connPool.getConnection(); System.out.println("conn: "+conn); } }
--------------------------------------------------------------------
Blog:http://www.cnblogs.com/linjiqin/
J2EE、Android、Linux、Oracle QQ交流群:142463980、158560018(滿)
題外話:
本人來自鐵觀音的發源地——泉州安溪,正宗安溪鐵觀音,有需要的友友歡迎加我Q:416501600。
茶葉淘寶店:http://shop61968332.taobao.com/