【轉】Python 數據庫連接池

python編程中可以使用pymysql進行數據庫連接及增刪改查操作，但每次連接mysql請求時，都是獨立的去請求訪問，比較浪費資源，而且訪問數量達到一定數量時，對mysql的性能會產生較大的影響。因此實際使用中，通常會使用數據庫的連接池技術，來訪問數據庫達到資源復用。

python的數據庫連接池包：DBUtils

DBUtils提供兩種外部接口：

• PersistentDB：提供線程專用的數據庫連接，並自動管理連接。
• PooledDB：提供線程間可共享的數據庫連接，並自動管理連接。 

DBUtils包安裝： pip3 install DBUtils

                       或者下載 DBUtils 安裝包，解壓后，使用python setup.py install 命令進行安裝

 

未使用連接池的數據庫方法：

def getconn(host, user, passwd, db, sql, port=3306,charset='utf8'):
 2     conn = pymysql.connect(host=host, user=user, passwd=passwd, port=port, db=db, charset=charset)  #建立連接
 3     cur = conn.cursor(cursor=pymysql.cursors.DictCursor)        #建立游標並指定游標類型
 4     cur.execute(sql)                                            #執行sql
 5     if sql.startswith('select'):                                #判斷sql是否是select
 6         res = cur.fetchone()
 7     else:
 8         conn.commit()                                           #insert\delete\update語句執行完畢后需要進行commit
 9         res = 88
10     cur.close()                                                 #關閉游標
11     conn.close()                                                #關閉連接
12     return res

 

用數據庫連接池后的方法：

import MySQLdb
from DBUtils.PooledDB import PooledDB
pool = PooledDB(MySQLdb,5,host='localhost',user='root',passwd='pwd',db='myDB',port=3306) #5為連接池里的最少連接數

 
conn = pool.connection()  #以后每次需要數據庫連接就是用connection（）函數獲取連接就好了
cur=conn.cursor()
SQL="select * from table1"
r=cur.execute(SQL)
r=cur.fetchall()
cur.close()
conn.close()

 

下面利用pymysql 和 DBUtils 建立自己的mysql 數據庫連接工具包

class OPMysql(object):

    __pool = None

    def __init__(self):
        # 構造函數，創建數據庫連接、游標
        self.coon = OPMysql.getmysqlconn()
        self.cur = self.coon.cursor(cursor=pymysql.cursors.DictCursor)


    # 數據庫連接池連接
    @staticmethod
    def getmysqlconn():
        if OPMysql.__pool is None:
            __pool = PooledDB(creator=pymysql, mincached=1, maxcached=20, host=mysqlInfo['host'], user=mysqlInfo['user'], passwd=mysqlInfo['passwd'], db=mysqlInfo['db'], port=mysqlInfo['port'], charset=mysqlInfo['charset'])
            print(__pool)
        return __pool.connection()

    # 插入\更新\刪除sql
    def op_insert(self, sql):
        print('op_insert', sql)
        insert_num = self.cur.execute(sql)
        print('mysql sucess ', insert_num)
        self.coon.commit()
        return insert_num

    # 查詢
    def op_select(self, sql):
        print('op_select', sql)
        self.cur.execute(sql)  # 執行sql
        select_res = self.cur.fetchone()  # 返回結果為字典
        print('op_select', select_res)
        return select_res

    #釋放資源
    def dispose(self):
        self.coon.close()
        self.cur.close()

配置文件mysqlinfo，包含數據庫的連接信息、用戶名密碼等：

mysqlInfo = {
    "host": '192.168.1.112',
    "user": 'root',
    "passwd": '123456',
    "db": 'apitest',
    "port": 3306,
    "charset": 'utf8'
}

創建test，測試數據庫連接

if __name__ == '__main__':
    #申請資源
    opm = OPMysql()

    sql = "select * from demo where name ='a' and pwd='e10adc3949ba59abbe56e057f20f883e' "
    res = opm.op_select(sql)

    #釋放資源
    opm.dispose()

PooledDB參數解釋：

1. mincached，最少的空閑連接數，如果空閑連接數小於這個數，pool會創建一個新的連接。
2. maxcached，最大的空閑連接數，如果空閑連接數大於這個數，pool會關閉空閑連接。
3. maxconnections，最大的連接數，進程中最大可創建的線程數。
4. blocking， 當連接數達到最大連接數時，再次請求時，如果這個值是True，請求連接的程序會一直等待，直到當前連接數小於最大連接數；如果這個值為False，會報錯。
5. masxshared，當連接數達到這個數時，新請求的連接會分享已經分配出去的連接。

在uwsgi中，每個http請求都會有一個進程，連接池中配置的連接數都是一個進程為單位的（即上面的最大連接數，都是在一個進程中創建的線程數），如果業務中，一個http請求中需要的sql連接數不是很多的話（其實大多數都只需要創建一個連接），配置的連接數配置都不需要太大。

連接池對性能的提升：

• 在程序創建連接的時候，可以從一個空閑的連接中獲取，不需要重新初始化連接，提升獲取連接的速度。
• 關閉連接的時候，把連接放回連接池，而不是真正的關閉，所以可以減少頻繁的打開和關閉連接。

 后續繼續優化～～～～

參考連接：https://www.cnblogs.com/Xjng/p/3437694.html