最近在弄一個項目分析的時候，看到有一個后綴為”.sqlite”的數據文件，由於以前沒怎么接觸過，就想着怎么用python來打開並進行數據分析與處理，於是稍微研究了一下。
SQLite是一款非常流行的關系型數據庫，由於它非常輕盈，因此被大量應用程序采用。
像csv文件一樣，SQLite可以將數據存儲於單個數據文件，以便方便的分享給其他人員。許多編程語言都支持SQLite數據的處理，python語言也不例外。
sqlite3是python的一個標准庫，可以用於處理SQLite數據庫。
用sqlite3創建和操作數據庫文件
對於數據庫的SQL語句，本文會用到最基礎的SQL語句，應該不影響閱讀。如果想進一步了解，可參考如下網址：
http://www.w3school.com.cn/sql/index.asp
下面，我們來應用salite3模塊來創建SQLite數據文件，以及進行數據讀寫操作。主要的步驟如下：
- 與數據庫建立連接，創建數據庫文件（.sqlite文件）
- 創建游標（cursor）
- 創建數據表（table）
- 向數據表中插入數據
- 查詢數據
演示代碼如下：
import sqlite3
with sqlite3.connect('test_database.sqlite') as con:
c = con.cursor()
c.execute('''CREATE TABLE test_table (date text, city text, value real)''')
for table in c.execute("SELECT name FROM sqlite_master WHERE type='table'"):
print("Table", table[0])
c.execute('''INSERT INTO test_table VALUES ('2017-6-25', 'bj', 100)''')
c.execute('''INSERT INTO test_table VALUES ('2017-6-25', 'pydataroad', 150)''')
c.execute("SELECT * FROM test_table")
print(c.fetchall())
Table test_table
[('2017-6-25', 'bj', 100.0), ('2017-6-25', 'pydataroad', 150.0)]
關於SQLite數據庫中數據的可視化預覽，有很多的工具可以實現，我這里使用的是SQLite Studio，是一個免費使用的工具，不需要安裝，下載下來就可以使用，有興趣的同學可以參考下面的鏈接。
https://sqlitestudio.pl/index.rvt?act=download
數據預覽的效果如下：
用pandas來讀取sqlite數據文件
從上面代碼的運行結果可以看出，數據查詢的結果是一個由tuple組成的list。python的list數據在進行進一步的數據處理與分析時，可能會不太方便。可以想象一下，假設如果數據庫的表格中一共有100萬行或者更多數據，從list中循環遍歷獲取數據，效率會比較低。
這時，我們可以考慮用pandas提供的函數來從SQLite數據庫文件中讀取相關數據信息，並保存在DataFrame中，方便后續進一步處理。
Pandas提供了兩個函數，均可以讀取后綴為“.sqlite”數據文件的信息。
- read_sql()
- read_sql_query()
import pandas as pd
with sqlite3.connect('test_database.sqlite') as con:
# read_sql_query和read_sql都能通過SQL語句從數據庫文件中獲取數據信息
df = pd.read_sql_query("SELECT * FROM test_table", con=con)
# df = pd.read_sql("SELECT * FROM test_table", con=con)
print(df.shape)
print(df.dtypes)
print(df.head())
(2, 3)
date object
city object
value float64
dtype: object
date city value
0 2017-6-25 bj 100.0
1 2017-6-25 pydataroad 150.0
