用pandas庫的.drop_duplicates函數
代碼如下：
1 import shutil 2 import pandas as pd 3 4 5 frame=pd.read_csv('E:/bdbk.csv',engine='python') 6 data = frame.drop_duplicates(subset=['名稱'], keep='first', inplace=False) 7 data.to_csv('E:/baike.csv', encoding='utf8')
.drop_duplicates有三個參數
DataFrame.drop_duplicates(subset=None, keep='first', inplace=False)
如subset=['A','B']去A列和B列重復的數據
參數如下：
subset : column label or sequence of labels, optional
用來指定特定的列，默認所有列
keep : {‘first’, ‘last’, False}, default ‘first’
刪除重復項並保留第一次出現的項
inplace : boolean, default False
是直接在原來數據上修改還是保留一個副本