pandas分頁讀取excel

一、環境配置

主要使用的包如下：

Package         Version
--------------- ---------
...
pandas          0.23.4
xlrd            1.2.0
...

pandas的版本比較重要，因為我們主要使用的是pandas中的read_excel函數中的nrow和skiprows參數，有的版本沒有nrows參數。

二、實現過程

import pandas as pd

path = './1.xlsx'

def readrow(total_rows,df_columns):
    rows = total_rows  #總的行數
    fields_list = df_columns #獲取所有的列名
    page_rows = 2  #設置每次讀取的行數
    skiprows = 0
    while True:
        if skiprows >= rows:
            break
        df = pd.read_excel(path,nrows=page_rows,skiprows=skiprows)
        df.columns = fields_list  #每次讀取重新賦列名
        skiprows += page_rows
        dict_list = df.to_dict(orient="records")
        print('df',df)
        print('dict_list',dict_list) #轉成列表套字典的形式，方便存儲在數據庫中


def excel_to_df():
    df = pd.read_excel(path)
    total_rows = df.shape[0]  #獲取所有的excel中數據的行數
    df_columns = df.columns.values.tolist() #獲取execl中的列名列表
    readrow(total_rows,df_columns)


if __name__ == '__main__':
    excel_to_df()