pymysql 將數據導入至數據庫

import pandas as pd
import pymysql


# 參數設置 DictCursor使輸出為字典模式 連接到本地用戶ffzs 密碼為666
config = dict(host='localhost', user='xxx', password='xxxx', cursorclass=pymysql.cursors.DictCursor)

# 建立連接
conn = pymysql.Connect(**config)
# 自動確認commit True
conn.autocommit(1)
# 設置光標
cursor = conn.cursor()

# pandas讀取文件 這里隨便找了一個爬取的股票文件改的名字
# usecols 就是說我只用這些列其他列不需要
# parse_dates 由於csv只儲存str、int、float格式無法儲存日期格式，所以讀取是設定吧日期列讀作時間格式
df = pd.read_csv('D:\Downloads\股票參數\滬深300.csv', encoding='gbk', usecols=[0, 3, 4, 5, 6, 9, 11], parse_dates=['date'] )

print(df.head(10))

# 一個根據pandas自動識別type來設定table的type
def make_table_sql(df):
    columns = df.columns.tolist()
    types = df.ftypes
    # 添加id 制動遞增主鍵模式
    make_table = []
    for item in columns:
        if 'int' in types[item]:
            char = item + ' INT'
        elif 'float' in types[item]:
            char = item + ' FLOAT'
        elif 'object' in types[item]:
            char = item + ' VARCHAR(255)'
        elif 'datetime' in types[item]:
            char = item + ' DATETIME'
        make_table.append(char)
    return ','.join(make_table)


# csv 格式輸入 mysql 中
def csv2mysql(db_name , table_name, df):
    # 創建database
    cursor.execute('CREATE DATABASE IF NOT EXISTS {}'.format(db_name))
    # 選擇連接database
    conn.select_db(db_name)
    # 創建table
    cursor.execute('DROP TABLE IF EXISTS {}'.format(table_name))
    cursor.execute('CREATE TABLE {}({})'.format(table_name,make_table_sql(df)))
    # 提取數據轉list 這里有與pandas時間模式無法寫入因此換成str 此時mysql上格式已經設置完成
    df['date'] = df['date'].astype('str')
    values = df.values.tolist()
    # print(values)
    # 根據columns個數
    s = ','.join(['%s' for _ in range(len(df.columns))])
    # print(s)
    # executemany批量操作 插入數據 批量操作比逐個操作速度快很多
    cursor.executemany('INSERT INTO {} VALUES ({})'.format(table_name,s), values)


csv2mysql(db_name="stock_analyze", table_name="hs300" , df=df)

cursor.execute('SELECT * FROM hs300 LIMIT 5')
# scroll(self, value, mode='relative') 移動指針到某一行; 如果mode='relative',則表示從當前所在行移動value條,如果 mode='absolute',則表示從結果集的第一行移動value條.
cursor.scroll(4)
cursor.fetchall()
conn.close()

refer from: https://blog.csdn.net/tonydz0523/article/details/82529941