drop_duplicates()

可以刪除重復的行，返回的是刪除重復行后的df

DataFrame.drop_duplicates(subset=None, keep='first', inplace=False, ignore_index=False)

參數

subset：column label or sequence of labels, optional，需要刪除的列，默認是全部的列
keep：{‘first’, ‘last’, False}, default ‘first’，確定要保留的重復項（如果有），first和last分別是第一次和最后一次，false則是刪除所有的重復項
inplace：bool, default False，是否覆蓋原來的df
ignore_index：bool, default False

如果inplace=Ture，則返回刪除重復項的df

官網例子

df = pd.DataFrame({
    'brand': ['Yum Yum', 'Yum Yum', 'Indomie', 'Indomie', 'Indomie'],
    'style': ['cup', 'cup', 'cup', 'pack', 'pack'],
    'rating': [4, 4, 3.5, 15, 5]
})
df
'''
    brand style  rating
0  Yum Yum   cup     4.0
1  Yum Yum   cup     4.0
2  Indomie   cup     3.5
3  Indomie  pack    15.0
4  Indomie  pack     5.0
'''

默認情況下，它將基於所有列刪除重復的行

df.drop_duplicates() '''
    brand style  rating
0  Yum Yum   cup     4.0
2  Indomie   cup     3.5
3  Indomie  pack    15.0
4  Indomie  pack     5.0
'''

要刪除特定列上的重復項，請使用`subset`

df.drop_duplicates(subset=['brand'])
'''
    brand style  rating
0  Yum Yum   cup     4.0
2  Indomie   cup     3.5
'''

要刪除重復項並保持最后一次出現，請使用`keep`

df.drop_duplicates(subset=['brand', 'style'], keep='last')
'''
    brand style  rating
1  Yum Yum   cup     4.0
2  Indomie   cup     3.5
4  Indomie  pack     5.0
'''

===============20210430補充刪除重復列============================

原來數據

import pandas as pd
df1 = pd.DataFrame({'name':['張三','李四','王五','張三'],'age':[18,19,20,18]})
df2 = pd.DataFrame({'name':['張三','李四','王五','張三'],'id':[300,260,280,300]})
df3 = pd.concat([df1,df2],axis=1) #concat無how