python——pandas技巧（處理dataframe每個元素，不用for，而用apply）

用apply處理pandas比用for循環，快了無數倍，測試如下：

我們有一個pandas加載的dataframe如下，features是0和1特征的組合，可惜都是str形式（字符串形式），我們要將其轉換成一個裝有整型int 0和1的list

 

 

 

（1）用for循壞（耗時約3小時）

from tqdm import tqdm #計時器函數
for i in tqdm(range(df.shape[0])):
    df['features'][i] = df['features'][i].split(",")   #每一行形如0，0，1，1，0，1，1的string，所以按照逗號切割，返回一個list
    for j in range(len(df['features'][i])):            #遍歷該list，對於每個元素進行int轉換
        df['features'][i][j] = int(df['features'][i][j])
        
print(type(df['features'][0]))

 

 

（2）推薦用apply方法（耗時約30秒）

from time import time
from tqdm import tqdm

def func(x):
    l = x.split(",")
    for i in range(len(l)):
        l[i] = int(l[i])
    return l

stime = time()
df['new_features'] = df['features'].apply(func)
endtime = time()

print("time:"+str(endtime-stime)+"s")
#df.head()
print("over")