pandas 讀mysql數據庫（整個表或者表的指定列）

問題1：如何從數據庫中讀取整個表數據到DataFrame中？

首先，來看很容易想到的的辦法

    def read_table_by_name(self, table_name):
        """
        讀取table_name表
        :return: dataframe對象 所有的評價對象及其數據        
        """
        field_list = []    # target表的所有字段的列表
        field_data = []    # 存放某一字段的所有數據
        frame_data = pd.DataFrame()

        self._cursor = self._connect.cursor()
        sql = "select COLUMN_NAME from information_schema.COLUMNS where table_name = '%s'"
        self._cursor.execute(sql % table_name)
        results = self._cursor.fetchall()
        for row in results:
            field_list.append(row[0])

        name_sql = "select %s from %s"
        i = 0
        for field in field_list:
            self._cursor.execute(name_sql % (field, table_name))
            column_data = self._cursor.fetchall()
            field_data.clear()
            for j in range(len(column_data)):
                field_data.append(column_data[j][0])
            frame_data.insert(i, field, field_data)  # frame_data 插入數據

            i += 1

        return frame_data    

看起來，十分麻煩。那么有沒有簡單的辦法呢？當然有，目前我已知的有以下幾種：

1：使用pandas.io.sql模塊中sql.read_sql_table(table_name,conn)直接將一個table轉到dataframe中

import pandas as pd
from sqlalchemy import create_engine
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
result = pd.io.sql.read_sql_table('employee', engine)
print(type(result), '\n', result)

注意：read_sql_table 僅支持 SQLAlchemy 連接

輸出結果如下：

2：使用pandas.io.sql模塊中的sql.read_sql_query(sql_str,conn)或者sql.read_sql(sql_str,conn)，效果相同，都使用sql語句

import pandas as pd
import pymysql
from sqlalchemy import create_engine
# conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql_str = 'select * from employee'
result = pd.io.sql.read_sql_query(sql_str, engine)
print(type(result), '\n', result)

import pandas as pd
import pymysql
from sqlalchemy import create_engine
conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='123456', db='test')
# engine = create_engine('mysql+pymysql://root:123456@localhost:3306/test')
sql_str = 'select * from employee'
result = pd.io.sql.read_sql_query(sql_str, conn)
print(type(result), '\n', result)

注意：read_sql_query 不僅支持 SQLAlchemy 連接，pymysql也可以

 

問題2：如何從數據庫中讀取表的指定列的數據到DataFrame中？

先來看比較容易想到的辦法：

def read_indexs_by_index(self, table_name,  index_list):
        """
        根據選擇的指標名列表讀取table_name表
        :param self: 
        :param table_name: 表名
        :param index_list: 指定列的列表
        :return: 
        """
        index_data = []
        frame_data = pd.DataFrame()
        sql = "select %s from %s"
        i = 0
        for index in index_list:
            self._cursor.execute(sql % (index, table_name))
            column_data = self._cursor.fetchall()
            index_data.clear()
            for j in range(len(column_data)):
                index_data.append(float(column_data[j][0]))
            frame_data.insert(i, index, index_data)  # frame_data 插入數據
            i += 1

        return frame_data

再看使用使用 pd.io.sql.read_sql_query模塊的方法：

def read_indexs_by_index(self, table_name, index_list):
        """
        根據選擇的指標名列表讀取table_name表
        :param self:
        :param table_name:
        :param index_list:
        :return:
        """
        sql = "select * from %s"
        df = pd.io.sql.read_sql_query((sql % table_name), self._connect)

        data_frame = df.loc[list(range(0, df.shape[0])), index_list]  # df.loc[:,index_list]也可以

        return data_frame

只需要四行😁