Python 之 Sqlite3數據庫

　　SQLite數據庫是一款非常小巧的嵌入式開源數據庫軟件，它使用一個文件存儲整個數據庫，優點是使用方便，但是功能相比於其它大型數據庫來說，確實有點差距。由於此次數據庫實踐所需要求不多，所以就使用SQLite來完成。值得一提的是，Python內置SQLite3，所以在Python中使用SQLite，不需要安裝任何東西，直接使用。

 

一、數據庫（database）簡介

　　表是數據庫中存放關系數據的集合，一個數據庫里面通常都包含多個表，表和表之間通過外鍵關聯。

　　因為Python的數據庫模塊有統一的接口標准，所以數據庫操作都有統一的模式。要操作關系數據庫，大致是以下幾步（假設數據庫模塊名稱為db）：

1. 用db.connect連接數據庫，假設得到的對象為conn
2. 如果該數據庫操作不需要返回結果，就直接用conn.execute查詢，根據數據庫事務隔離級別的不同，可能修改數據庫需要conn.commit
3. 如果需要返回查詢結果則用conn.cursor創建游標對象cur, 通過cur.execute查詢數據庫，用cur.fetchall/cur.fetchone/cur.fetchmany返回查詢結果。根據數據庫事務隔離級別的不同，可能修改數據庫需要conn.commit
4. 關閉cur，conn

 

二、SQLite使用

（1）SQlite數據庫的導入

import sqlite3

 

（2）創建數據庫/打開數據庫

conn = sqlite3.connect("test.db")

　　在調用connect函數的時候，指定數據庫名稱，如果指定的數據庫存在就直接打開這個數據庫，如果不存在就新創建一個再打開。

 

（3）數據庫連接對象

　　打開數據庫時返回的對象conn就是一個數據庫連接對象，有以下幾種基本操作：

#創建一個Cursor游標
cur = conn.cursor()

#執行一條SQL語句，創建user表
cur.execute('create table user (id varchar(20) primary key, name varchar(20))')

#執行一條SQL語句，插入一條記錄
cur.execute('insert into user (id, name) values (\'1\', \'Michael\')')

#獲得插入的行數
cur.rowcount

#執行查詢語句
cursor.execute('select * from user where id=?', ('1',))
#獲得查詢結果
values = cur.fetchall()               #如果使用cur.fetchone()則首先返回列表中的第一項,再次使用,則返回第二項,依次下去

#關閉cur
cur.close()

#提交事務
conn.commit()

#關閉connection連接
conn.close()

　　使用Cursor游標對象執行insert，update，delete語句時，執行結果由rowcount返回影響的行數，就可以拿到執行結果。

　　使用Cursor游標對象執行select語句時，通過fetchall()可以拿到結果集。結果集是一個list，每個元素都是一個tuple，對應一行記錄。

　　如果SQL語句帶有參數，那么需要把參數按照位置傳遞給execute()方法，有幾個?占位符就必須對應幾個參數。另外一種方法是使用字符串格式化format()方法。

以上為SQLite數據庫的常用的基本操作，具體用法請參閱SQLite的官方網站。（SQLite數據庫菜鳥教程）

 

三、SQLite數據庫實踐

（1）將上次爬取得到的2017中國最好大學排名.csv文件以db格式文件寫入數據庫

#!D:/Python/Python.exe
# -*- coding: utf-8 -*-
import sqlite3 as sql

#獲取csv文件的數據
def GetData(Csv_Path):
    with open(Csv_Path, "r", encoding="utf-8") as f:
        lines = f.readlines()
        Data = lines[1:]
        Headers = lines[0].replace('\n', '')
        Headers = Headers.split(',')
    return Data, tuple(Headers)

#創建數據庫
def CreateDB(DB_Path, Headers, Tab_name):
    try:
        conn = sql.connect(DB_Path)
        cur = conn.cursor()
        cur.execute('''CREATE TABLE {0} {1}'''.format(Tab_name, Headers))
        print("Table created successfully")
        return conn, cur
    except:
        print("Created failed")

#將數據導入數據庫
def Import(Csv_Path, DB_Path, Tab_name):
    Data, Headers = GetData(Csv_Path)
    Conn, Cur = CreateDB(DB_Path, Headers, Tab_name)
#為了之后的排序工作, 以下進行了數據處理
    for row in Data:
        row = row.replace('無', '0')
        row = row.replace('\n', '')
        row = tuple(row.split(','))
        Cur.execute("INSERT INTO {0} VALUES {1}".format(Tab_name, row))
    print("Data import successful")
    Conn.commit()                  #提交事務
    Cur.close()                    #關閉游標 
    Conn.close()                   #關閉數據庫連接

if __name__ == "__main__":
    Csv_Path = input("請輸入需要導入的csv文件的路徑或名稱:")
    DB_Name = input("請輸入數據庫的名稱:")
    Tab_name = input("請輸入數據庫的表名稱:")
    Import(Csv_Path, DB_Name, Tab_name)

 

將結果用SQLite Studio呈現：

 

 SQLite Studio是一款 Sqlite數據庫可視化工具，使用非常簡單，想要了解的話這里給一個我參考的教程。（SQLite Studio使用教程）

 

（2）查詢學校的數據

import sqlite3 as sql
Conn = sql.connect("db2019310143115.db")
Cur = Conn.execute("SELECT * from Rank where 學校名稱 = ?", ('廣東技術師范學院',))          #這句代碼是產生一個指定位置的cursor游標
row = Cur.fetchone()
print(row)
Cur.close()
Conn.close()

　　這里只是單純執行一句sql語句實現查詢，並未整合在上面的代碼。值得一提的是connection.execute()與cursor.execute()不相同，前者是產生一個游標，后者是直接操作游標。

 

結果為：

 

 

（3）按照要求查詢並顯示廣東省的學校的排名和成果轉化

1 import sqlite3 as sql
2 Conn = sql.connect("db2019310143115.db")
3 Cur = Conn.execute("SELECT 學校名稱, 成果轉化（技術轉讓收入·千元） FROM Rank order by 成果轉化（技術轉讓收入·千元） desc")          #執行sql的order by語句進行排序, desc為倒序, 默認為順序
4 for i in Cur.fetchall():
5     print(i)
6 Cur.close()
7 Conn.close()

 

一部分結果為（左邊是學校名稱，右邊是成果轉化的數據）：

 

 

（4）將廣東省（或全國）的學校的排名和數據存為一個新表，並且使用一個算法，綜合每個因素進行總排名

　　

　　由於這一要求並未完成，我僅把上面的功能整合在一起，給出代碼：

#!D:/Python/Python.exe
# -*- coding: utf-8 -*-
import sqlite3 as sql

#獲取csv文件的數據
def GetData():
    Csv_Path = input("請輸入csv文件的路徑或名稱：")
    with open(Csv_Path, "r", encoding="utf-8") as f:
        lines = f.readlines()
        Data = lines[1:]
        Headers = lines[0].replace('\n', '')
        Headers = Headers.split(',')
    return Data, tuple(Headers)

#創建新表
def CreateDB(Headers, Cur):
    Tab_name = input("請輸入表名稱:")
    try:
        Cur.execute('''CREATE TABLE {0} {1}'''.format(Tab_name, Headers))
        print("Table created successfully.")
    except:
        print("Creation failed.")

#將數據導入數據庫
def Import(Data, Cur):
    Tab_name = input("請輸入表的名稱: ")
#為了之后的排序工作, 以下進行了數據處理
    for row in Data:
        row = row.replace('無', '0')
        row = row.replace('\n', '')
        row = row.split(',')
        for i in range(len(row)):
            try:
                row[i] = eval(row[i])
            except:
                continue
        Cur.execute("INSERT INTO {} VALUES {}".format(Tab_name, tuple(row)))                #執行sql語句, 寫入數據
    print("Data imported successfully.")

#查詢數據
def Search(Headers, Cur):
    Tab_name = input("請輸入表的名稱: ")
    School = input("請輸入想要查找的學校: ")
    Cur.execute("SELECT * FROM {} WHERE 學校名稱 = ?".format(Tab_name), (School,))
    Info = Cur.fetchone()
    for i in range(len(Headers)):
        print("{}: {}".format(Headers[i], Info[i]))

#排序
def Sort(Cur):
    Tab_name = input("請輸入表的名稱: ")
    Col = input("請輸入想要按照哪列進行排序（默認倒序）: ")
    Cur.execute("SELECT 學校名稱, 成果轉化（技術轉讓收入·千元） FROM {} order by {} desc".format(Tab_name, Col))
    for i in Cur.fetchall():
        print(i)

#數據庫功能
def Function(Data, Headers):
    DB_Path = input("請輸入數據庫的路徑或名稱：")
    try:
        Conn = sql.connect(DB_Path)
        Cur = Conn.cursor()
        print("Connect completed.")
    except:
        print("Connection fail.")
    else:
        while True:
            Choi = input("請選擇你想要使用的功能(1、創建新表 2、插入數據 3、查詢 4、排序 0、退出)：")
            if Choi == "0":
                Cur.close()
                Conn.close()
                print("Database closed successfully.")
                break
            elif Choi == "1":
                CreateDB(Headers, Cur)
            elif Choi == "2":
                Import(Data, Cur)
                Conn.commit()
            elif Choi == "3":
                Search(Headers, Cur)
            elif Choi == "4":
                Sort(Cur)
            else:
                print("Input Error!")

if __name__ == "__main__":
    Data, Headers = GetData()
    Function(Data, Headers)

 

未完待續...