轉載(有添加、修改)
作者:但盼風雨來_jc
鏈接:https://www.jianshu.com/p/238a13995b2b
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。
本次分享將介紹如何在Python中使用Pandas庫實現MySQL數據庫的讀寫。首先我們需要了解點ORM方面的知識
ORM技術
對象關系映射技術,即ORM(Object-Relational Mapping)技術,指的是把關系數據庫的表結構映射到對象上,通過使用描述對象和數據庫之間映射的元數據,將程序中的對象自動持久化到關系數據庫中。
在Python中,最有名的ORM框架是SQLAlchemy。Java中典型的ORM中間件有:Hibernate,ibatis,speedframework。
SQLAlchemy
SQLAlchemy是Python編程語言下的一款開源軟件。提供了SQL工具包及對象關系映射(ORM)工具,使用MIT許可證發行
SQLAlchemy模塊提供了create_engine()函數用來初始化數據庫連接,SQLAlchemy用一個字符串表示連接信息:
'數據庫類型+數據庫驅動名稱://用戶名:口令@機器地址:端口號/數據庫名'
Pandas讀寫MySQL數據庫
我們需要以下三個庫來實現Pandas讀寫MySQL數據庫:
- pandas
- sqlalchemy
- pymysql
其中,pandas模塊提供了read_sql_query()函數實現了對數據庫的查詢,to_sql()函數實現了對數據庫的寫入。並不需要實現新建MySQL數據表。
sqlalchemy模塊實現了與不同數據庫的連接,而pymysql模塊則使得Python能夠操作MySQL數據庫。
我們將使用MySQL數據庫中的mydb數據庫以及employee表,內容如下:
注意:
- 1.根據庫的文檔,我們看到to_sql函數支持兩類mysql引擎一個是sqlalchemy,另一個是sqlliet3.沒錯,在你寫入庫的時候,pymysql是不能用的!!!
-
- mysqldb也是不能用的,你只能使用sqlalchemy或者sqlliet3!!鑒於sqllift3已經很久沒有更新了,筆者這里建議使用sqlalchemy!!
-
- 2.to_sql函數並不在pd之中,而是在io.sql之中,是sql腳本下的一個類!!!所以to_sql的最好寫法就是:
-
- pd.io.sql.to_sql(df1,tablename,con=conn,if_exists='repalce')
-
import pandas as pd
from sqlalchemy import create_engine
# 初始化數據庫連接,使用pymysql模塊
# MySQL的用戶:root, 密碼:root密碼, host:39.96.45.1, 端口:3306,數據庫:weibo
engine=create_engine('mysql+pymysql://root:密碼@39.96.45.1:3306/weibo')
sql = ''' select * from yuqing_weibo_pinglun; '''
# read_sql_query的兩個參數: sql語句, 數據庫連接
df = pd.read_sql_query(sql, engine)
# 輸出employee表的查詢結果
print(df['text'].head())
# 新建pandas中的DataFrame, 只有id,num兩列
df = pd.DataFrame({'id': [1, 2, 3, 4], 'name': ['zhangsan', 'lisi', 'wangwu', 'zhuliu']})
# 將新建的DataFrame儲存為MySQL中的數據表,儲存index列
df.to_sql('mydf', engine, index=True)#mydf表名,engine:存到相應的數據庫下面
print('Read from and write to Mysql table successfully!')
運行結果:
這說明我們確實將pandas中新建的DataFrame寫入到了MySQL中!
將CSV文件寫入到MySQL中
以上的例子實現了使用Pandas庫實現MySQL數據庫的讀寫,我們將再介紹一個實例:將CSV文件寫入到MySQL中,示例的example.csv文件如下
示例的Python代碼如下:
1 # -*- coding: utf-8 -*- 2 3 # 導入必要模塊 4 import pandas as pd 5 from sqlalchemy import create_engine 6 7 # 初始化數據庫連接,使用pymysql模塊 8 db_info = {'user': 'root', 9 'password': '123456', 10 'host': 'localhost', 11 'port': 3306, 12 'database': 'test' 13 } 14 15 engine = create_engine('mysql+pymysql://%(user)s:%(password)s@%(host)s:%(port)d/%(database)s?charset=utf8' % db_info, encoding='utf-8') 16 # 直接使用下一種形式也可以 17 # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') 18 19 # 讀取本地CSV文件 20 df = pd.read_csv("C:/Users/fuqia/Desktop/example.csv", sep=',') 21 print(df) 22 # 將新建的DataFrame儲存為MySQL中的數據表,不儲存index列(index=False) 23 # if_exists: 24 # 1.fail:如果表存在,啥也不做 25 # 2.replace:如果表存在,刪了表,再建立一個新表,把數據插入 26 # 3.append:如果表存在,把數據插入,如果表不存在創建一個表!! 27 pd.io.sql.to_sql(df, 'example', con=engine, index=False, if_exists='replace') 28 # df.to_sql('example', con=engine, if_exists='replace')這種形式也可以 29 print("Write to MySQL successfully!")
在MySQL中查看example表格
補充:engine.execute(sql)可以直接執行sql語句:
1 from sqlalchemy import create_engine 2 3 4 engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') 5 sql = "DROP TABLE IF EXISTS example" 6 engine.execute(sql)
如果用pymysql,則必須用cursor,讀者可以對比一下。
1 import pymysql 2 from sqlalchemy import create_engine 3 4 conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test') 5 # engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test') 6 sql = "DROP TABLE IF EXISTS test_input" 7 cursor = conn.cursor() 8 cursor.execute(sql)
總結
本文主要介紹了ORM技術以及SQLAlchemy模塊,並且展示了兩個Python程序的實例,介紹了如何使用Pandas庫實現MySQL數據庫的讀寫。
程序本身並不難,關鍵在於多多練習