分塊讀取大文件方法

1 以下兩種方法類似,第一種更簡潔

兩種方法的input類型完全相同,當最后一次不夠7行時,兩種方法都會取出來

 

import pandas as pd

input = pd.read_csv('input.csv', chunksize= 7)
for i in input:       # i是一個有7行的塊
    chunk = function(i)
    chunk.to_csv('output.csv', mode='a', header=False)
    del chunk

input = pd.read_csv('input.csv', iterator=True)
loop = True
print('Ready Go!!!')
while loop:
    try:
        chunk = input.get_chunk(7)
        chunk.to_csv('output', mode='a', header=None)
        del chunk
    except StopIteration:
        loop = False
        print('Game Over!!!')

 

2 利用get_chunck()函數

loop為真時，get_chunck()函數會一直從文件中取數據，直到最后一次try不能執行了，執行except，loop置為假。

app_usage = pd.read_csv('D:\\HUAWEIcompetition\\data\\user_app_usage.csv', iterator=True) pieceID=0 loop=True while loop: try: dfi = app_usage.get_chunk(10000000) dfi.columns=['uid','appid','total_usagetime','open_numbers','use_date'] dfi.to_csv('D:\\HUAWEIcompetition\\data\\user_app_usage\\user_app_usage_{}.csv'.format(pieceID),index=False) pieceID += 1
        del dfi except StopIteration: loop=False print('imps_log process finish!')