python 去除Excel中的重復行數據

導入pandas

import pandas as pd

1.讀取excel中的數據；

frame = pd.DataFrame(pd.read_csv('excel的絕對路徑.csv'’, 'Sheet1'))

2.去除重復行后的數據;

data = frame.drop_duplicates(subset=’’, keep='first', inplace=’’)

drop_duplicates用法：subset=‘需要去重復的列名’, keep=‘遇到重復的時保留第一個還是保留最后一個’, inplace=‘去除重復項，還是保留重復項的副本’

3.保存去重后的數據到excel;

data.to_excel('路徑+名字.xlsx')

或者

data.to_csv(路徑+名字.csv', encoding='utf8')