Python數據分析-DataFrame的級聯and合並操作

級聯操作

• pd.concat, pd.append

 

pandas使用pd.concat函數，與np.concatenate函數類似，只是多了一些參數：

objs axis=0 keys join='outer' / 'inner':表示的是級聯的方式，outer會將所有的項進行級聯（忽略匹配和不匹配），而inner只會將匹配的項級聯到一起，不匹配的不級聯 ignore_index=False 

 

• 匹配級聯

df1 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','B','C'])
df2 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','B','C'])

pd.concat((df1,df1),axis=1) #行列索引都一致的級聯叫做匹配級聯

不匹配級聯

• 不匹配指的是級聯的維度的索引不一致。例如縱向級聯時列索引不一致，橫向級聯時行索引不一致
• 有2種連接方式：
  • 外連接：補NaN（默認模式）
  • 內連接：只連接匹配的項

 

df1 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','B','C'])
df2 = pd.DataFrame(data=np.random.randint(0,100,size=(5,3)),columns=['A','D','C'])

pd.concat((df1,df2),axis=0)     #不匹配指的是級聯的維度的索引不一致。例如縱向級聯時列索引不一致，橫向級聯時行索引不一致   有2種連接方式：外連接：補NaN（默認模式） 內連接：只連接匹配的項　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　

 

 pd.concat((df1,df2),axis=0,join='inner') #inner直把可以級聯的級聯不能級聯不處理

 

• 如果想要保留數據的完整性必須使用outer（外連接）

 

• append函數的使用（只能列跟列級聯）

 

df1.append(df1)

 

合並操作

• merge與concat的區別在於，merge需要依據某一共同列來進行合並

• 使用pd.merge()合並時，會自動根據兩者相同column名稱的那一列，作為key來進行合並。

• 注意每一列元素的順序不要求一致

 

一對一合並

from pandas import DataFrame
df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                'group':['Accounting','Engineering','Engineering'],
                })
df1

df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
'hire_date':[2004,2008,2012],
})
df2

 pd.merge(df1,df2,on='employee')

 

一對多合並

df3 = DataFrame({
    'employee':['Lisa','Jake'],
    'group':['Accounting','Engineering'],
    'hire_date':[2004,2016]})
df3

df4 = DataFrame({'group':['Accounting','Engineering','Engineering'],
'supervisor':['Carly','Guido','Steve']
})
df4

 

 pd.merge(df3,df4)#on如果不寫，默認情況下使用兩表中公有的列作為合並條件

 

多對多合並

df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
                 'group':['Accounting','Engineering','Engineering']})
df1

df5 = DataFrame({'group':['Engineering','Engineering','HR'],
'supervisor':['Carly','Guido','Steve']
})
df5

 pd.merge(df1,df5,how='right')                                   #how 是合並方式   默認值是 inner  只和並能合並的  outer 能合並的不能合並的都合並  left 保留左表的數據完整性  righ 保留右表的數據完整性

     

 

key的規范化

• 當兩張表沒有可進行連接的列時，可使用left_on和right_on手動指定merge中左右兩邊的哪一列列作為連接的列

df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
                'group':['Accounting','Product','Marketing'],
               'hire_date':[1998,2017,2018]})
df1

df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
'hire_dates':[1998,2016,2007]})
df5

 

 pd.merge(df1,df5,left_on='employee',right_on='name')