SQLite3 of python
一、SQLite3 數據庫
SQLite3 可使用 sqlite3 模塊與 Python 進行集成，一般 python 2.5 以上版本默認自帶了sqlite3模塊，因此不需要用戶另外下載。
在 學習基本語法之前先來了解一下數據庫是使用流程吧 ↓↓↓
所以，首先要創建一個數據庫的連接對象，即connection對象，語法如下：
sqlite3.connect（database [，timeout，其他可選參數]）
function: 此API打開與SQLite數據庫文件的連接。如果成功打開數據庫，則返回一個連接對象。
database: 數據庫文件的路徑，或 “：memory：” ，后者表示在RAM中創建臨時數據庫。
timeout: 指定連接在引發異常之前等待鎖定消失的時間，默認為5.0(秒)
有了connection對象，就能創建游標對象了，即cursor對象，如下：
connection.cursor（[cursorClass]）
function: 創建一個游標，返回游標對象，該游標將在Python的整個數據庫編程中使用。
接下來，看看connection對象 和 cursor對象的 “技能” 吧 ↓↓↓
| 方法 | 說明 |
| connect.cursor() | 上述，返回游標對象 |
| connect.execute(sql [,parameters]) | 創建中間游標對象執行一個sql命令 |
| connect.executemany(sql [,parameters]) | 創建中間游標對象執行一個sql命令 |
| connect.executescript(sql_script) | 創建中間游標對象, 以腳本的形式執行sql命令 |
| connect.total_changes() | 返回自打開數據庫以來，已增刪改的行的總數 |
| connect.commit() | 提交當前事務，不使用時為放棄所做的修改，即不保存 |
| connect.rollback() | 回滾自上次調用commit()以來所做的修改，即撤銷 |
| connect.close() | 斷開數據庫連接 |
| 方法 | 說明 |
| cursor.execute(sql [,parameters]) | 執行一個sql命令 |
| cursor.executemany(sql,seq_of_parameters) | 對 seq_of_parameters 中的所有參數或映射執行一個sql命令 |
| cursor.executescript(sql_script) | 以腳本的形式一次執行多個sql命令 |
| cursor.fetchone() | 獲取查詢結果集中的下一行，返回一個單一的序列，當沒有更多可用的數據時，則返回 None。 |
| cursor.fetchmany([size=cursor.arraysize]) | 獲取查詢結果集中的下一行組，返回一個列表。當沒有更多的可用的行時，則返回一個空的列表。size指定特定行數。 |
| cursor.fetchall() | 獲取查詢結果集中所有（剩余）的行，返回一個列表。當沒有可用的行時，則返回一個空的列表。 |
下面用一個簡單實例作為介紹 >>>
1 def SQLite_Test():
2 # =========== 連接數據庫 ============
3 # 1. 連接本地數據庫
4 connectA = sqlite3.connect("example.db")
5 # 2. 連接內存數據庫，在內存中創建臨時數據庫
6 connectB = sqlite3.connect(":memory:")
7
8 # =========== 創建游標對象 ============
9 cursorA = connectA.cursor()
10 cursorB = connectB.cursor()
11
12 # =========== 創建表 ============
13 cursorA.execute("CREATE TABLE class(id real, name text, age real, sex text)")
14 cursorB.execute("CREATE TABLE family(relation text, job text, age real)")
15
16 # =========== 插入數據 ============
17 cursorA.execute("INSERT INTO class VALUES(1,'Jock',8,'M')")
18 cursorA.execute("INSERT INTO class VALUES(2,'Mike',10,'M')")
19 # 使用 ? 占位符
20 cursorA.execute("INSERT INTO class VALUES(?,?,?,?)", (3,'Sarah',9,'F'))
21
22 families = [
23 ['Dad', 'CEO', 35],
24 ['Mom', 'singer', 33],
25 ['Brother', 'student', 8]
26 ]
27 cursorB.executemany("INSERT INTO family VALUES(?,?,?)",families)
28
29 # =========== 查找數據 ============
30 # 使用 命名變量 占位符
31 cursorA.execute("SELECT * FROM class WHERE sex=:SEX", {"SEX":'M'})
32 print("TABLE class: >>>select Male\n", cursorA.fetchone())
33 cursorA.close()
34
35 cursorB.execute("SELECT * FROM family ORDER BY relation")
36 print("TABLE family:\n", cursorB.fetchall())
37 cursorB.close()
38
39 # =========== 斷開連接 ============
40 connectA.close()
41 connectB.close()
42
43 SQLite_Test()
運行結果：
TABLE class: >>>select Male
(1.0, 'Jock', 8.0, 'M')
TABLE family:
[('Brother', 'student', 8.0), ('Dad', 'CEO', 35.0), ('Mom', 'singer', 33.0)]
二、小練手
使用目前學的sqlite3數據庫知識，對一些數據進行增刪查改的操作。此處選擇來自下面網站的數據
先將數據從網站上爬取下來，存儲為csv文件，然后再保存到數據庫中，接着進行數據的操作。對於如何存儲為csv文件，請查看 >>> 《此處的最后一個小主題》
對於本次小練習的介紹：
目的：對已爬取的數據進行數據庫管理和簡單操作
步驟： 創建數據庫文件 >>> 創建表 >>> 保存數據到數據庫 >>> 對數據進行簡單操作
方法：我采用的方法是：
① 編寫一個函數( get_data(fileName) )：讀取csv文件中的數據，主要完成對數據的格式轉換，以便適合保存到數據庫中
② 編寫一個函數類( class SQL_method )：對數據庫進行簡單操作，主要完成數據庫的創建和數據的增刪查改
| 方法 | 說明 |
| __init__(self, dbName, tabelName, data, columns, COLUMNS, Read_All=True) | 對參數進行初始化，參數含義分別為：數據庫名稱、表格名稱、數據、表格首行(用於創建表)、表格首行(用於格式輸出)、輸出所有數據(插入數據后) |
| creatTable(self) | 創建數據庫文件、創建表格 |
| destroyTable(self) | 刪除表格 |
| insertDatas(self) | 向數據庫的表格中插入多條數據 |
| getAllData(self) | 以列表形式返回數據庫表格中的所有數據 |
| searchData(self, condition, IfPrint=True) | 查找特定數據, 參數的含義分別為：查找條件、是否輸出(查找的數據) |
| deleteData(self, condition) | 在數據庫的表格中刪除特定數據, 參數為刪除條件 |
| printData(self, data) | 輸出數據, 參數為需要輸出的數據 |
| run(self) | 運行創建數據庫和表格的函數，同時支持輸出所有數據(依靠Read_All) |
③ 嘗試其他操作 ( 以下的所有操作均在 main 函數中實現 )：
a. 在數據庫中查找某一項記錄
b. 對數據按照某種排序輸出
c. 對數據進行增加權值操作，實現重新排序 【權值詳情】
d. 刪除數據庫中的某些記錄
e. 刪除數據庫中的表
好了，有了前進的方向，那我們楊帆 ----- 起航 >>>
1 # -*- coding: utf-8 -*-
2 '''
3 使用 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2016.html" 的數據進行SQLite3數據庫的練習使用
4 @author: bpf
5 '''
6
7 import sqlite3
8 from pandas import DataFrame
9 import re
10
11 class SQL_method:
12 '''
13 function: 可以實現對數據庫的基本操作
14 '''
15 def __init__(self, dbName, tableName, data, columns, COLUMNS, Read_All=True):
16 '''
17 function: 初始化參數
18 dbName: 數據庫文件名
19 tableName: 數據庫中表的名稱
20 data: 從csv文件中讀取且經過處理的數據
21 columns: 用於創建數據庫，為表的第一行
22 COLUMNS: 用於數據的格式化輸出，為輸出的表頭
23 Read_All: 創建表之后是否讀取出所有數據
24 '''
25 self.dbName = dbName
26 self.tableName = tableName
27 self.data = data
28 self.columns = columns
29 self.COLUMNS = COLUMNS
30 self.Read_All = Read_All
31
32 def creatTable(self):
33 '''
34 function: 創建數據庫文件及相關的表
35 '''
36 # 連接數據庫
37 connect = sqlite3.connect(self.dbName)
38 # 創建表
39 connect.execute("CREATE TABLE {}({})".format(self.tableName, self.columns))
40 # 提交事務
41 connect.commit()
42 # 斷開連接
43 connect.close()
44
45 def destroyTable(self):
46 '''
47 function: 刪除數據庫文件中的表
48 '''
49 # 連接數據庫
50 connect = sqlite3.connect(self.dbName)
51 # 刪除表
52 connect.execute("DROP TABLE {}".format(self.tableName))
53 # 提交事務
54 connect.commit()
55 # 斷開連接
56 connect.close()
57
58 def insertDataS(self):
59 '''
60 function: 向數據庫文件中的表插入多條數據
61 '''
62 # 連接數據庫
63 connect = sqlite3.connect(self.dbName)
64 # 插入多條數據
65 connect.executemany("INSERT INTO {} VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)".format(self.tableName), self.data)
66 #for i in range(len(self.data)):
67 # connect.execute("INSERT INTO university VALUES(?,?,?,?,?,?,?,?,?,?,?,?,?)", data[i])
68 # 提交事務
69 connect.commit()
70 # 斷開連接
71 connect.close()
72
73 def getAllData(self):
74 '''
75 function: 得到數據庫文件中的所有數據
76 '''
77 # 連接數據庫
78 connect = sqlite3.connect(self.dbName)
79 # 創建游標對象
80 cursor = connect.cursor()
81 # 讀取數據
82 cursor.execute("SELECT * FROM {}".format(self.tableName))
83 dataList = cursor.fetchall()
84 # 斷開連接
85 connect.close()
86 return dataList
87
88 def searchData(self, conditions, IfPrint=True):
89 '''
90 function: 查找特定的數據
91 '''
92 # 連接數據庫
93 connect = sqlite3.connect(self.dbName)
94 # 創建游標
95 cursor = connect.cursor()
96 # 查找數據
97 cursor.execute("SELECT * FROM {} WHERE {}".format(self.tableName, conditions))
98 data = cursor.fetchall()
99 # 關閉游標
100 cursor.close()
101 # 斷開數據庫連接
102 connect.close()
103 if IfPrint:
104 self.printData(data)
105 return data
106
107 def deleteData(self, conditions):
108 '''
109 function: 刪除數據庫中的數據
110 '''
111 # 連接數據庫
112 connect = sqlite3.connect(self.dbName)
113 # 插入多條數據
114 connect.execute("DELETE FROM {} WHERE {}".format(self.tableName, conditions))
115 # 提交事務
116 connect.commit()
117 # 斷開連接
118 connect.close()
119
120 def printData(self, data):
121 print("{1:{0}^3}{2:{0}<11}{3:{0}<4}{4:{0}<4}{5:{0}<5}{6:{0}<5}{7:{0}^5}{8:{0}^5}{9:{0}^5}{10:{0}^5}{11:{0}^5}{12:{0}^6}{13:{0}^5}".format(chr(12288), *self.COLUMNS))
122 for i in range(len(data)):
123 print("{1:{0}<4.0f}{2:{0}<10}{3:{0}<5}{4:{0}<6}{5:{0}<7}{6:{0}<8}{7:{0}<7.0f}{8:{0}<8}{9:{0}<7.0f}{10:{0}<6.0f}{11:{0}<9.0f}{12:{0}<6.0f}{13:{0}<6.0f}".format(chr(12288), *data[i]))
124
125 def run(self):
126 try:
127 # 創建數據庫文件
128 self.creatTable()
129 print(">>> 數據庫創建成功！")
130 # 保存數據到數據庫
131 self.insertDataS()
132 print(">>> 表創建、數據插入成功！")
133 except:
134 print(">>> 數據庫已創建！")
135 # 讀取所有數據
136 if self.Read_All:
137 self.printData(self.getAllData())
138
139 def get_data(fileName):
140 '''
141 function: 讀取獲得大學排名的數據 並 將結果返回
142 '''
143 data = []
144 # 打開文件
145 f = open(fileName, 'r', encoding='utf-8')
146 # 按行讀取文件
147 for line in f.readlines():
148 # 替換掉其中的換行符和百分號 替換百分號是為了方便之后的排序和運算
149 line = line.replace('\n', '')
150 line = line.replace('%','')
151 # 將字符串按照 ',' 分割為列表
152 line = line.split(',')
153
154 for i in range(len(line)):
155 # 使用 異常處理 避開 出現中文無法轉換 的錯誤
156 try:
157 # 將空值填充為 0
158 if line[i] == '':
159 line[i] = '0'
160 # 將數字轉換為數值
161 line[i] = eval(line[i])
162 except:
163 continue
164 data.append(tuple(line))
165 # EN_columns、CH_columns 分別為 用於數據庫創建、數據的格式化輸出
166 EN_columns = "Rank real, University text, Province text, Grade real, SourseQuality real, TrainingResult real, ResearchScale real, \
167 ReserchQuality real, TopResult real, TopTalent real, TechnologyService real, Cooperation real, TransformationResults real"
168 CH_columns = ["排名", "學校名稱", "省市", "總分", "生涯質量", "培養結果(%)", "科研規模", "科研質量", "頂尖成果", "頂尖人才", "科技服務", "產學研合作", "成果轉化"]
169 return data[1:], EN_columns, CH_columns
170
171 if __name__ == "__main__":
172 # =================== 設置和得到基本數據 ===================
173 fileName = "D:\\University_Rank.csv"
174 data, EN_columns, CH_columns = get_data(fileName)
175 dbName = "university.db"
176 tableName = "university"
177
178 # ================= 創建一個SQL_method對象 ==================
179 SQL = SQL_method(dbName, tableName, data, EN_columns, CH_columns, False)
180
181 # =================== 創建數據庫並保存數據 ===================
182 SQL.run()
183
184 # =================== 在數據庫中查找數據項 ===================
185 # 查找記錄並輸出結果
186 print(">>> 查找數據項（University = '廣東工業大學'） :")
187 SQL.searchData("University = '廣東工業大學'", True)
188
189 # ================= 在數據庫中篩選數據項並排序 ==================
190 # 將選取廣東省的數據 並 對科研規模大小排序
191 print("\n>>> 篩選數據項並按照科研規模排序（Province = '廣東省'） :")
192 SQL.searchData("Province = '廣東省' ORDER BY ResearchScale", True)
193
194 # =============== 對數據庫中的數據進行重新排序操作 ================
195 # 定義權值
196 Weight = [0.3, 0.15, 0.1, 0.1, 0.1, 0.1, 0.05, 0.05, 0.05]
197 value, sum = [], 0
198 # 獲取 Province = '廣東省' 的所有數據
199 sample = SQL.searchData("Province = '廣東省'", False)
200 # 按照權值求出各個大學的總得分
201 for i in range(len(sample)):
202 for j in range(len(Weight)):
203 sum += sample[i][4+j] * Weight[j]
204 value.append(sum)
205 sum = 0
206 # 將結果通過 pandas 的 DataFrame 方法組成一個二維序列
207 university = [university[1] for university in sample]
208 uv, tmp = [], []
209 for i in range(len(university)):
210 tmp.append(university[i])
211 tmp.append(value[i])
212 uv.append(tmp)
213 tmp = []
214 df = DataFrame(uv, columns=list(("大學", "總分")))
215 df = df.sort_values('總分')
216 df.index = [i for i in range(1, len(uv)+1)]
217 # 輸出結果
218 print("\n>>> 篩選【廣東省】的大學並通過權值運算后重排名的結果：\n", df)
219
220 # ===================== 在數據庫中刪除數據項 =====================
221 SQL.deleteData("Province = '北京市'")
222 SQL.deleteData("Province = '廣東省'")
223 SQL.deleteData("Province = '山東省'")
224 SQL.deleteData("Province = '山西省'")
225 SQL.deleteData("Province = '江西省'")
226 SQL.deleteData("Province = '河南省'")
227 print("\n>>> 數據刪除成功！")
228 SQL.printData(SQL.getAllData())
229
230 # ====================== 在數據庫中刪除表 ========================
231 SQL.destroyTable()
232 print(">>> 表刪除成功！
用於我將所有的要求都寫在 main 函數中，因此顯得有點亂，但只要明白上面提及的要求就不亂了！
那我們看看執行效果吧，有些地方結果太多就不 一 一 展示。
