【原創】大數據量時生成DataFrame避免使用效率低的append方法

 

轉載請注明出處：https://www.cnblogs.com/oceanicstar/p/10900332.html 

 

---

 

★append方法可以很方便地拼接兩個DataFrame

df1.append(df2)
 
>    A  B
> 1 A1 B1
> 2 A2 B2
> 3 A3 B3
> 4 A4 B4

 

★但數據量大時生成DataFrame，應避免使用append方法

因為：

       與python列表中的append和extend方法不同的是pandas的append方法不會改變原來的對象，而是創建一個新的對象。當然，這樣的話會使效率變低而且會占用更多內存，所以如果你有很多數據需要append，建議使用列表，然后傳給DataFrame。

       建議直接用空列表依次裝好各列的數據，再統一生成總的dataframe表，如下例所示。

 

import pandas as pd
import numpy as np
from datetime import datetime
 
 
# 模擬生成較大批次量的數據
df_list = [pd.DataFrame({
    'a': [np.random.rand() for _ in range(20000)],
    'b': [np.random.rand() for _ in range(20000)]
}) for i in range(800)]
 
 
# %% 第一種方式（運行時間最長——1分鍾，內存占用一般）
start1 = datetime.now()
res1 = pd.DataFrame()
for df in df_list:
    res1 = res1.append(df)
print('append耗時：%s秒' % (datetime.now() - start1))
 
 
# %% 第二種方式（運行時間相對第一種少一些——46秒，但內存接近溢出）
start2 = datetime.now()
dict_list = [df.to_dict() for df in df_list]
combine_dict = {}
i = 0
for dic in dict_list:
    length = len(list(dic.values())[0])
    for idx in range(length):
        combine_dict[i] = {k: dic[k][idx] for k in dic.keys()}
        i += 1
res2 = pd.DataFrame.from_dict(combine_dict, 'index')
print('dict合並方式耗時：%s秒' % (datetime.now() - start2))
 
 
# %% 第三種方式：list裝好所有值（運行時間最短——4秒多，內存占用低）
start3 = datetime.now()
columns = ['a', 'b']
a_list = []
b_list = []
 
for df in df_list:
    a_list.extend(df['a'])
    b_list.extend(df['b'])
res3 = pd.DataFrame({'a': a_list, 'b': b_list})
print('list裝好所有值方式耗時：%s秒' % (datetime.now() - start3))