使用pandas將DataFrame數據直接寫入MySQL數據庫
先看下需要存入的df數據：
安裝並導入需要的庫：
先創建數據庫：
開始直接一條pandas入庫：
入庫后查看數據：
注意：
（1）再進行入庫的時候，他會根據列自動選擇類型，可能為double、float等，后面如果出現類型不匹配，就會報錯，這種情況一定要進入數據庫后去改下數據類型，不然會一直報錯
（2）pymysq：此處用的是pymsql，不要再用mysqldb，這是個坑，很麻煩，安裝也很麻煩，還是用這個吧，網上其他人說的mysqldb不好用，別用了
在pandas.DataFrame.to_sql時指定數據庫表的列類型
問題
在數據分析並存儲到數據庫時，Python的Pandas包提供了to_sql 方法使存儲的過程更為便捷，但如果在使用to_sql方法前不在數據庫建好相對應的表，to_sql則會默認為你創建一個新表，這時新表的列類型可能並不是你期望的。例如我們通過下段代碼往數據庫中插入一部分數據：
import pandas as pd from datetime import datetime df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]], columns=['str', 'int', 'float', 'datetime', 'boolean']) print(df.dtypes) 通過dtypes可知數據類型為object, int64, float64, datetime64[ns], bool
如果把數據通過to_sql方法插入到數據庫中：
from sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://{}:{}@{}/{}".format('username', 'password', 'host:port', 'database')) con = engine.connect() df.to_sql(name='test', con=con, if_exists='append', index=False) 用MySQL的desc可以發現數據庫自動創建了表並默認指定了列的格式：
# 在MySQL中查看表的列類型 desc test; | Filed | Type | Null | Key | Default | Extra |
|---|---|---|---|---|---|
| str | text | YES | NULL | ||
| int | bigint(20) | YES | NULL | ||
| float | double | YES | NULL | ||
| datetime | datetime | YES | NULL | ||
| boolean | tinyint(1) | YES | NULL |
其中str類型的數據在數據庫表中被映射成text，int類型被映射成bigint(20)， float類型被映射成double類型。數據庫中的列類型可能並非是我們所期望的格式，但我們又不想在數據插入前手動的創建數據庫的表，而更希望根據DataFrame中數據的格式動態地改變數據庫中表格式。
分析
通過查閱pandas.DataFrame.to_sql的api文檔[1]，可以通過指定dtype 參數值來改變數據庫中創建表的列類型。
dtype : dict of column name to SQL type, default None
Optional specifying the datatype for columns. The SQL type should be a SQLAlchemy type, or a string for sqlite3 fallback connection.
根據描述，可以在執行to_sql方法時，將映射好列名和指定類型的dict賦值給dtype參數即可上，其中對於MySQL表的列類型可以使用SQLAlchemy包中封裝好的類型。
# 執行前先在MySQL中刪除表 drop table test; from sqlalchemy.types import NVARCHAR, Float, Integer dtypedict = { 'str': NVARCHAR(length=255), 'int': Integer(), 'float' Float() } df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict) 更新代碼后，再查看數據庫，可以看到數據庫在建表時會根據dtypedict中的列名來指定相應的類型。
desc test; | Filed | Type | Null | Key | Default | Extra |
|---|---|---|---|---|---|
| str | varchar(255) | YES | NULL | ||
| int | int(11) | YES | NULL | ||
| float | float | YES | NULL | ||
| datetime | datetime | YES | NULL | ||
| boolean | tinyint(1) | YES | NULL |
答案
通過分析，我們已經知道在執行to_sql的方法時，可以通過創建一個類似“{"column_name"：sqlalchemy_type}”的映射結構來控制數據庫中表的列類型。但在實際使用時，我們更希望能通過pandas.DataFrame中的column的數據類型來映射數據庫中的列類型，而不是每此都要列出pandas.DataFrame的column名字。
寫一個簡單的def將pandas.DataFrame中列名和預指定的類型映射起來即可：
def mapping_df_types(df): dtypedict = {} for i, j in zip(df.columns, df.dtypes): if "object" in str(j): dtypedict.update({i: NVARCHAR(length=255)}) if "float" in str(j): dtypedict.update({i: Float(precision=2, asdecimal=True)}) if "int" in str(j): dtypedict.update({i: Integer()}) return dtypedict 只要在執行to_sql前使用此方法獲得一個映射dict再賦值給to_sql的dtype參數即可，執行的結果與上一節相同，不再累述。
df = pd.DataFrame([['a', 1, 1, 2.0, datetime.now(), True]], columns=['str', 'int', 'float', 'datetime', 'boolean']) dtypedict = mapping_df_types(df) df.to_sql(name='test', con=con, if_exists='append', index=False, dtype=dtypedict)
https://www.jb51.net/article/139408.htm
https://www.jb51.net/article/153336.htm
python3批量向Mysql中插入數據
python3批量向Mysql中插入數據
#!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2019/9/26 0026 19:57 # @Author : P.D # @Site : python3批量向Mysql中插入數據 # @File : test.py import pymysql import random db = pymysql.connect("localhost", "root", "123456", 'blog') cursor = db.cursor() data = list() for i in range(10): title_list = ["python", "flask", "Django"] body_list = ["this is python", "this is flask", "this is Django"] value = (random.choice(title_list), random.choice(body_list)) data.append(value) def insert_data(): sql = "insert into blog(title, body) values (%s, %s)" try: cursor.executemany(sql, data) db.commit() print("insert success") except: db.rollback() if __name__ == '__main__': insert_data()