pandas 读mysql数据库（整个表或者表的指定列）

问题1：如何从数据库中读取整个表数据到DataFrame中？

首先，来看很容易想到的的办法

    def read_table_by_name(self, table_name):
        """
        读取table_name表
        :return: dataframe对象 所有的评价对象及其数据        
        """
        field_list = []    # target表的所有字段的列表
        field_data = []    # 存放某一字段的所有数据
        frame_data = pd.DataFrame()

        self._cursor = self._connect.cursor()
        sql = "select COLUMN_NAME from information_schema.COLUMNS where table_name = '%s'"
        self._cursor.execute(sql % table_name)
        results = self._cursor.fetchall()
        for row in results:
            field_list.append(row[0])

        name_sql = "select %s from %s"
        i = 0
        for field in field_list:
            self._cursor.execute(name_sql % (field, table_name))
            column_data = self._cursor.fetchall()
            field_data.clear()
            for j in range(len(column_data)):
                field_data.append(column_data[j][0])
            frame_data.insert(i, field, field_data)  # frame_data 插入数据

            i += 1

        return frame_data    

看起来，十分麻烦。那么有没有简单的办法呢？当然有，目前我已知的有以下几种：

1：使用pandas.io.sql模块中sql.read_sql_table(table_name,conn)直接将一个table转到dataframe中

import pandas as pd
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
result = pd.io.sql.read_sql_table('employee', engine)
print(type(result), '\n', result)

注意：read_sql_table 仅支持 SQLAlchemy 连接

输出结果如下：

2：使用pandas.io.sql模块中的sql.read_sql_query(sql_str,conn)或者sql.read_sql(sql_str,conn)，效果相同，都使用sql语句

import pandas as pd
import pymysql
from sqlalchemy import create_engine
# conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql_str = 'select * from employee'
result = pd.io.sql.read_sql_query(sql_str, engine)
print(type(result), '\n', result)

import pandas as pd
import pymysql
from sqlalchemy import create_engine
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql_str = 'select * from employee'
result = pd.io.sql.read_sql_query(sql_str, conn)
print(type(result), '\n', result)

注意：read_sql_query 不仅支持 SQLAlchemy 连接，pymysql也可以

 

问题2：如何从数据库中读取表的指定列的数据到DataFrame中？

先来看比较容易想到的办法：

def read_indexs_by_index(self, table_name,  index_list):
        """
        根据选择的指标名列表读取table_name表
        :param self: 
        :param table_name: 表名
        :param index_list: 指定列的列表
        :return: 
        """
        index_data = []
        frame_data = pd.DataFrame()
        sql = "select %s from %s"
        i = 0
        for index in index_list:
            self._cursor.execute(sql % (index, table_name))
            column_data = self._cursor.fetchall()
            index_data.clear()
            for j in range(len(column_data)):
                index_data.append(float(column_data[j][0]))
            frame_data.insert(i, index, index_data)  # frame_data 插入数据
            i += 1

        return frame_data

再看使用使用 pd.io.sql.read_sql_query模块的方法：

def read_indexs_by_index(self, table_name, index_list):
        """
        根据选择的指标名列表读取table_name表
        :param self:
        :param table_name:
        :param index_list:
        :return:
        """
        sql = "select * from %s"
        df = pd.io.sql.read_sql_query((sql % table_name), self._connect)

        data_frame = df.loc[list(range(0, df.shape[0])), index_list]  # df.loc[:,index_list]也可以

        return data_frame

只需要四行😁