python接口自動化（三十八）-python操作mysql數據庫（詳解）

簡介

　　現在的招聘要求對QA人員的要求越來越高，測試的一些基礎知識就不必說了，來說測試知識以外的，會不會一門或者多門開發與語言，能不能讀懂代碼，會不會Linux，會不會搭建測試系統，會不會常用的數據庫，會不會SQL等等，因此我們這篇文章來講解如何用

python語言操作mysql數據庫。

 本科階段曾學過使用java對MySQL數據庫進行操作，基本思路是先連接數據庫，然后執行SQL語句對數據庫進行操作，最后打印結果並斷開連接。使用Python操作數據庫的流程和以上過程基本一致，在對其進行介紹之前，先介紹一些基本的概念。

基本概念

python操作數據庫的流程

以流程圖的方式展示python操作MySQL數據庫的流程：

　　對上圖的解讀：首先檢查是否依次創建Connection對象（數據庫連接對象）用於打開數據庫連接，創建Cursor對象（游標對象）用於執行查詢和獲取結果；然后執行SQL語句對數據庫進行增刪改查等操作並提交事務，此過程如果出現異常則使用回滾技術使數據庫恢

復到執行SQL語句之前的狀態；最后，依次銷毀Cursor對象和Connection對象，以避免多計算機內存過多的占用和浪費。

　　下面依次對Connection對象、Cursor對象和事務等概念進行介紹。

Connection對象

Connection對象即為數據庫連接對象，在python中可以使用pymysql.connect()方法創建Connection對象，該方法的常用參數如下：

host：連接的數據庫服務器主機名，默認為本地主機（localhost）；字符串類型（String） 。

user：用戶名，默認為當前用戶；字符串類型（String） 。

passwd：密碼，無默認值；字符串類 （String）。

db：數據庫名稱，無默認值；字符串類型（String） 。

port：指定數據庫服務器的連接端口，默認為3306；整型（int）。

charset：連接字符集；字符串類型（String）

Connection對象常用的方法如下：

cursor()：使用當前連接創建並返回游標 。

commit()：提交當前事務 。

rollback()：回滾當前事務 。

close()：關閉當前連接

Cursor對象

Cursor對象即為游標對象，用於執行查詢和獲取結果，在python中可以使用conn.cursor()創建，conn為Connection對象。Cursor對象常用的方法和屬性如下：

execute()：執行數據庫查詢或命令，將結果從數據庫獲取到客戶端 fetchone()：獲取結果集的下一行 fetchmany()：獲取結果集的下幾行 fetchall()：獲取結果集中剩下的所有行 close()：關閉當前游標對象 rowcount：最近一次的execute返回數據的行數或受影響的行數

事務

1、事務機制可以確保數據一致性。

事務是數據庫理論中一個比較重要的概念，指訪問和更新數據庫的一個程序執行單元，具有ACID特性：

• 原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要么都做，要么都不做。
• 一致性（consistency）。事務必須是使數據庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。
• 隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。
• 持久性（durability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對數據庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。

在開發時，我們以以下三種方式使用事務：

正常結束事務：conn.commit() 異常結束事務：conn.rollback() 關閉自動commit：設置 conn.autocommit(False)

2 、使用python實現對MySQL數據庫的增刪改查等操作

在python中操作MySQL數據庫時，要使用的模塊是：

Python2中：mysqldb（pip2 install mysqldb） Python3中：pymysql（pip3 install pymysql）

本篇博客所使用的環境為：

python 3.7 win 10 pycharm 2018.3.5 pymysql 0.9.2 mysql 5.6 

下面將以具體代碼的形式依次介紹python中如何實現對MySQL數據庫的增刪改查等操作。

python操作數據庫

Python 標准數據庫接口為 Python DB-API，Python DB-API為開發人員提供了數據庫應用編程接口。

Python 數據庫接口支持非常多的數據庫，你可以選擇適合你項目的數據庫：

• GadFly
• mSQL
• MySQL（小公司、小廠首選）
• PostgreSQL
• Microsoft SQL Server 2008（中型廠、中等公司首選）
• Informix
• Interbase
• Oracle（大廠、大企業首選）
• Sybase

你可以訪問Python數據庫接口及API查看詳細的支持數據庫列表。

不同的數據庫你需要下載不同的DB API模塊，例如你需要訪問Oracle數據庫和Mysql數據，你需要下載Oracle和MySQL數據庫模塊。

DB-API 是一個規范. 它定義了一系列必須的對象和數據庫存取方式, 以便為各種各樣的底層數據庫系統和多種多樣的數據庫接口程序提供一致的訪問接口 。

Python的DB-API，為大多數的數據庫實現了接口，使用它連接各數據庫后，就可以用相同的方式操作各數據庫。

Python DB-API使用流程：

• 引入 API 模塊。
• 獲取與數據庫的連接。
• 執行SQL語句和存儲過程。
• 關閉數據庫連接。

---

什么是MySQLdb?

PyMySQL 是在 Python3.x 版本中用於連接 MySQL 服務器的一個庫，Python2中則使用mysqldb。

PyMySQL 遵循 Python 數據庫 API v2.0 規范，並包含了 pure-Python MySQL 客戶端庫。

如何安裝MySQLdb?

在使用 PyMySQL 之前，我們需要確保 PyMySQL 已安裝。

PyMySQL 下載地址：https://github.com/PyMySQL/PyMySQL。

如果還未安裝，我們可以使用以下命令安裝最新版的 PyMySQL：

pip install PyMySQL

 

如果你的系統不支持 pip 命令，可以使用以下方式安裝：

1、使用 git 命令下載安裝包安裝(你也可以手動下載)：

git clone https://github.com/PyMySQL/PyMySQL
cd PyMySQL/
python3 setup.py install

2、如果需要制定版本號，可以使用 curl 命令來安裝：

# X.X 為 PyMySQL 的版本號
url -L https://github.com/PyMySQL/PyMySQL/tarball/pymysql-X.X | tar xz
cd PyMySQL*
python3 setup.py install
# 現在你可以刪除 PyMySQL* 目錄

注意：請確保您有root權限來安裝上述模塊。

安裝的過程中可能會出現"ImportError: No module named setuptools"的錯誤提示，意思是你沒有安裝setuptools，你可以訪問https://pypi.python.org/pypi/setuptools 找到各個系統的安裝方法。

Linux 系統安裝實例：

$ wget https://bootstrap.pypa.io/ez_setup.py
$ python3 ez_setup.py

---

數據庫連接

連接數據庫前，請先確認以下事項：

• 您已經創建了數據庫 TESTDB（測試數據庫）
• 在TESTDB數據庫中您已經創建了表 EMPLOYEE（測試用的測試表）
• EMPLOYEE表字段為 FIRST_NAME, LAST_NAME, AGE, SEX 和 INCOME。
• 連接數據庫TESTDB（測試數據庫）使用的用戶名為 "testuser" ，密碼為 "test123",你可以可以自己設定或者直接使用root用戶名及其密碼，Mysql數據庫用戶授權請使用Grant命令。
• 在你的機子上已經安裝了 Python MySQLdb 模塊。
• 如果你對sql語句不熟悉，可以自己先簡單的學習一下

1、查看有沒有創建數據庫TESTDB（測試數據庫），打開MySQL的client界面輸入密碼 后，輸入命令：

show databases;

2、看到沒有那個數據庫，那我們就開始創建一個TESTDB數據庫，輸入命令：

create database TESTDB;

3、再次輸入第一步的命令查看，看到已經成功創建

 

4、查看TESTDB數據庫里，有沒有EMPLOYEE（測試用的測試表），輸入命令：

use testdb;
show tables;

5、查看到在TESTDB數據庫中沒有EMPLOYEE表，那么沒有我們就創建一張EMPLOYEE表即可。

創建一個實例

運行結果：（從結果中我們可以看見成功創建了一個Connection和Cursor對象。）

下面將以具體代碼的形式依次介紹python中如何實現對MySQL數據庫的增刪改查等操作。

實例：

1、連接數據庫

運行結果：

參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法創建一個游標對象
cursor = conn.cursor()

# 使用execute()方法執行SQL查詢
cursor.execute('SELECT VERSION()')

# 使用fetchone()方法獲取單條數據
data = cursor.fetchone()

# 打印
print('database version: %s' % data)

# 關閉數據庫連接
conn.close()

2、創建數據庫表

如果數據庫連接存在我們可以使用execute()方法來為數據庫創建表，如下所示創建表EMPLOYEE：

運行代碼后查看有沒有表創建，輸入命令：

use TESTDB；
show tables;

運行結果：

參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法創建一個游標對象cursor
cursor = conn.cursor()  # 游標對象用於執行查詢和獲取結果

# 使用execute()方法執行SQL，如果表存在則將其刪除
cursor.execute('DROP TABLE IF EXISTS EMPLOYEE')

# 使用預處理語句創建表
sql = """CREATE TABLE `employee` (
  `first_name` varchar(255) DEFAULT NULL COMMENT '姓',
  `last_name` varchar(255) DEFAULT NULL COMMENT '名',
  `age` int(11) DEFAULT NULL COMMENT '年齡',
  `sex` varchar(255) DEFAULT NULL COMMENT '性別',
  `income` varchar(255) DEFAULT NULL COMMENT '收入'
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
"""

# 執行SQL語句
cursor.execute(sql)

# 關閉數據庫連接
conn.close()

3、數據庫插入操作

以下實例使用執行 SQL INSERT 語句向表 EMPLOYEE 插入記錄：

1、首先查詢有沒有記錄輸入查詢語句：

select * from employee;

2、代碼實現

運行結果：

再次查看有沒有記錄，輸入第一步的sql語句：（可以看到插入一條記錄）

參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法獲取操作游標
cursor = conn.cursor()

# SQL語句：向數據表中插入數據
sql = """INSERT INTO EMPLOYEE(FIRST_NAME,
         LAST_NAME, AGE, SEX, INCOME)
         VALUES ('Mac', 'Mohan', 20, 'M', 2000)"""

# 異常處理
try:
    # 執行SQL語句
    cursor.execute(sql)
    # 提交事務到數據庫執行
    conn.commit()  # 事務是訪問和更新數據庫的一個程序執行單元
except:
    # 如果發生錯誤則執行回滾操作
    conn.rollback()

# 關閉數據庫連接
conn.close()

另一種寫法：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法獲取操作游標
cursor = conn.cursor()

# SQL語句：向數據表中插入數據
sql = "INSERT INTO EMPLOYEE(FIRST_NAME, \
       LAST_NAME, AGE, SEX, INCOME) \
       VALUES ('%s', '%s',  %s,  '%s',  %s)" % \
       ('Mac', 'Mohan', 20, 'M', 2000)
# 異常處理
try:
    # 執行SQL語句
    cursor.execute(sql)
    # 提交事務到數據庫執行
    conn.commit()  # 事務是訪問和更新數據庫的一個程序執行單元
except:
    # 如果發生錯誤則執行回滾操作
    conn.rollback()

# 關閉數據庫連接
conn.close()

實例：

以下代碼使用變量向SQL語句中傳遞參數:

..................................
user_id = "root"
password = "root"

con.execute('insert into Login values( %s,  %s)' % \
             (user_id, password))
..................................

3、數據庫查詢操作

Python查詢Mysql使用 fetchone() 方法獲取單條數據, 使用fetchall() 方法獲取多條數據。

• fetchone(): 該方法獲取下一個查詢結果集。結果集是一個對象
• fetchall():接收全部的返回結果行.
• rowcount: 這是一個只讀屬性，並返回執行execute()方法后影響的行數。

實例：

查詢EMPLOYEE表中salary（工資）字段大於1000的所有數據：

運行結果：

參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法獲取操作游標
cursor = conn.cursor()

# SQL語句：查詢
sql = "SELECT * FROM employee WHERE income > 1000 "

# 異常處理
try:
    # 執行SQL語句
    cursor.execute(sql)
    # 獲取所有的記錄列表
    results = cursor.fetchall()
    # 遍歷列表
    for row in results:
        # 打印列表元素
        print(row)
        # 姓
        first_name = row[0]
        # 名
        last_name = row[1]
        # 年齡
        age = row[2]
        # 性別
        sex = row[3]
        # 收入
        income = row[4]
        # 打印列表元素
        print(first_name, last_name, age, sex, income)
except:
    print('Uable to fetch data!')

# 關閉數據庫連接
conn.close()

4、數據庫更新操作

更新操作用於更新數據表的的數據，以下實例將 EMPLOYEE 表中的 SEX 字段為 'M' 的 AGE 字段遞增 5：

1、以前age是20，

2、代碼實現：

3、運行結果：

4、查詢age變更到25了沒有

5、參考代碼：

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法獲取操作游標
cursor = conn.cursor()

# SQL語句，執行更新操作
sql = 'UPDATE employee SET age = age + 5 WHERE sex = "M"'

# 異常處理
try:
    # 執行SQL語句
    cursor.execute(sql)
    # 提交到數據庫執行
    conn.commit()
except:
    # 發生錯誤時回滾
    conn.rollback()

# 關閉數據庫連接
conn.close()

5、刪除操作

刪除操作用於刪除數據表中的數據，以下實例演示了刪除數據表 EMPLOYEE 中 AGE 大於 20 的所有數據：

1、大於20的只有一條，刪除了就沒有記錄了，輸入

 select * from employee;

2、代碼實現

 

3、運行結果

4、查看數據庫表，重復第一步

 

5、參考代碼

# coding=utf-8
# 1.先設置編碼，utf-8可支持中英文，如上，一般放在第一行

# 2.注釋：包括記錄創建時間，創建人，項目名稱。
'''
Created on 2019-5-22
@author: 北京-宏哥
Project:學習和使用python操作MySQL數據庫
'''
# 3.導入模塊
import pymysql

import pymysql

# 打開數據庫連接
conn = pymysql.connect('localhost', 'root', 'root', 'testdb')

# 使用cursor()方法獲取操作游標
cursor = conn.cursor()

# SQL語句，執行刪除操作
sql = 'DELETE FROM employee WHERE age >20'

# 異常處理
try:
    # 執行SQL語句
    cursor.execute(sql)
    # 提交到數據庫執行
    conn.commit()
except:
    # 發生錯誤時回滾
    conn.rollback()

# 關閉數據庫連接
conn.close()

執行事務

事務機制可以確保數據一致性。

事務應該具有4個屬性：原子性、一致性、隔離性、持久性。這四個屬性通常稱為ACID特性。

• 原子性（atomicity）。一個事務是一個不可分割的工作單位，事務中包括的諸操作要么都做，要么都不做。
• 一致性（consistency）。事務必須是使數據庫從一個一致性狀態變到另一個一致性狀態。一致性與原子性是密切相關的。
• 隔離性（isolation）。一個事務的執行不能被其他事務干擾。即一個事務內部的操作及使用的數據對並發的其他事務是隔離的，並發執行的各個事務之間不能互相干擾。
• 持久性（durability）。持續性也稱永久性（permanence），指一個事務一旦提交，它對數據庫中數據的改變就應該是永久性的。接下來的其他操作或故障不應該對其有任何影響。

Python DB API 2.0 的事務提供了兩個方法 commit 或 rollback。

實例：

# SQL刪除記錄語句
sql = "DELETE FROM EMPLOYEE WHERE AGE > %s" % (20)
try:
   # 執行SQL語句
   cursor.execute(sql)
   # 向數據庫提交
   db.commit()
except:
   # 發生錯誤時回滾
   db.rollback()

對於支持事務的數據庫， 在Python數據庫編程中，當游標建立之時，就自動開始了一個隱形的數據庫事務。

commit()方法游標的所有更新操作，rollback（）方法回滾當前游標的所有操作。每一個方法都開始了一個新的事務。

---

錯誤處理

DB API中定義了一些數據庫操作的錯誤及異常，下表列出了這些錯誤和異常:

異常	描述
Warning	當有嚴重警告時觸發，例如插入數據是被截斷等等。必須是 StandardError 的子類。
Error	警告以外所有其他錯誤類。必須是 StandardError 的子類。
InterfaceError	當有數據庫接口模塊本身的錯誤（而不是數據庫的錯誤）發生時觸發。 必須是Error的子類。
DatabaseError	和數據庫有關的錯誤發生時觸發。 必須是Error的子類。
DataError	當有數據處理時的錯誤發生時觸發，例如：除零錯誤，數據超范圍等等。 必須是DatabaseError的子類。
OperationalError	指非用戶控制的，而是操作數據庫時發生的錯誤。例如：連接意外斷開、 數據庫名未找到、事務處理失敗、內存分配錯誤等等操作數據庫是發生的錯誤。 必須是DatabaseError的子類。
IntegrityError	完整性相關的錯誤，例如外鍵檢查失敗等。必須是DatabaseError子類。
InternalError	數據庫的內部錯誤，例如游標（cursor）失效了、事務同步失敗等等。 必須是DatabaseError子類。
ProgrammingError	程序錯誤，例如數據表（table）沒找到或已存在、SQL語句語法錯誤、 參數數量錯誤等等。必須是DatabaseError的子類。
NotSupportedError	不支持錯誤，指使用了數據庫不支持的函數或API等。例如在連接對象上 使用.rollback()函數，然而數據庫並不支持事務或者事務已關閉。 必須是DatabaseError的子類。

小結

 　　哈哈，終於搞完了、整完了，累死寶寶了，已到半夜，明天有時間分享！！！

　　小伙伴python操作MySQL數據庫就是這么簡單！！！最重要的自己要會、要有扎實的SQL基礎。