利用Pandas合並多個csv文件並去重【轉】


 1 import os
 2 import pandas as pd
 3 
 4 path = 'c:/1'   #設置csv所在文件夾
 5 files = os.listdir(path)  #獲取文件夾下所有文件名
 6 
 7 df1 = pd.read_csv(path + '/' + files[0],encoding='gbk')  #讀取首個csv文件,保存到df1中
 8 
 9 for file in files[1:]:     
10   df2 = pd.read_csv(path +'/' +  file,encoding='gbk')  #打開csv文件,注意編碼問題,保存到df2中
11   df1 = pd.concat([df1,df2],axis=0,ignore_index=True)  #將df2數據與df1合並
12 
13 df1 = df1.drop_duplicates()   #去重
14 df1 = df1.reset_index(drop=True) #重新生成index
15 df1.to_csv(path + '/' + 'total.csv') #將結果保存為新的csv文件

【轉自】https://www.jianshu.com/p/0ee48403983b


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM