阅读提示
本文将提到Pandas数据合并方法merge()、concat()、combine_first()方法，数据的重塑和矩阵转置等操作的实现
目录
一、数据合并
pandas提供了三种主要方法可以用于数据合并：
- pandas.merge() 方法 ： 数据库风格的合并
- pandas.concat() 方法 ： 轴向连接，沿着一条轴将多个对象堆叠到一起
- combine_first() 方法 ：合并重叠数据
1、pandas.merge() 方法
将两个DataFrame合并
以列名为连接键
df1 = DataFrame({'name':['Carl','Lucy','a','b','c'],'data1': range(5)})
df2 = DataFrame({'name':['Carl','Lucy','x','y','z'],'data2': range(5)})
''' df1 name data1 0 Carl 0 1 Lucy 1 2 a 2 3 b 3 4 c 4 df2 name data2 0 Carl 0 1 Lucy 1 2 x 2 3 y 3 4 z 4 '''
#将df1 df2合并，以name为键（默认参数 how = 'inner' 内连接）
pd.merge(df1, df2, on = 'name', how = 'inner') # 内连接
''' name data1 data2 0 Carl 0 0 1 Lucy 1 1 '''
pd.merge(df1,df2,on = 'name',how = 'left') # 左连接
''' name data1 data2 0 Carl 0 0.0 1 Lucy 1 1.0 2 a 2 NaN 3 b 3 NaN 4 c 4 NaN '''
pd.merge(df1,df2,on = 'name',how = 'right') # 右连接
''' name data1 data2 0 Carl 0.0 0 1 Lucy 1.0 1 2 x NaN 2 3 y NaN 3 4 z NaN 4 '''
以索引作为连接键
left = DataFrame({'data':range(5),'name':['Carl','Lucy','a','b','c']})
right = DataFrame({'new_data':range(5),'new_name':['Carlnew','Lucynew','x','y','z']})
''' left data name 0 0 Carl 1 1 Lucy 2 2 a 3 3 b 4 4 c right new_data new_name 0 0 Carlnew 1 1 Lucynew 2 2 x 3 3 y 4 4 z '''
left.join(right)
''' data name new_data new_name 0 0 Carl 0 Carlnew 1 1 Lucy 1 Lucynew 2 2 a 2 x 3 3 b 3 y 4 4 c 4 z '''
2、pandas.concat() 方法
轴向连接，即沿着一条轴将多个对象堆叠到一起
''' a: a 0 b 1 dtype: int64 b: c 2 d 3 dtype: int64 c: e 4 f 5 dtype: int64 '''
pd.concat([a,c,b],axis = 0) #默认是按列堆叠
''' a 0 b 1 e 4 f 5 c 2 d 3 dtype: int64 '''
pd.concat([a,c,b],axis = 1) #按行堆叠
''' 0 1 2 a 0.0 NaN NaN b 1.0 NaN NaN e NaN 4.0 NaN f NaN 5.0 NaN c NaN NaN 2.0 d NaN NaN 3.0 '''
3、combine_first() 方法
作用 ： 合并重叠数据
可以理解为打补丁操作：s1中有空缺的地方，从s2中拿来数据补上
from numpy import nan as Na
s1 = Series([Na,2.0,Na,4.0,Na,6.0],index = list('abcdef'))
s2 = Series([100.0,200.0,300.0,Na,Na,600.0],index = list('abcdef'))
''' s1 a NaN b 2.0 c NaN d 4.0 e NaN f 6.0 dtype: float64 s2 a 100.0 b 200.0 c 300.0 d NaN e NaN f 600.0 dtype: float64 '''
s1.combine_first(s2)
''' a 100.0 b 2.0 c 300.0 d 4.0 e NaN f 6.0 dtype: float64 '''
二、数据重塑/轴向旋转
1、数据重塑
定义
重塑指的是将数据重新排列，也叫轴向旋转
DataFrame提供了两个方法：
- stack： 将数据的列 “旋转” 为行
- unstack： 将数据的行“旋转”为列
例如：
data = DataFrame(np.arange(9).reshape(3,3),index = pd.Index(['English','Math','Histioy'],name = 'Course'),columns= pd.Index(['Carl','Lucy','Petter'],name = 'Name'))
''' Name Carl Lucy Petter Course English 0 1 2 Math 3 4 5 Histioy 6 7 8 '''
data.stack()
''' Course Name English Carl 0 Lucy 1 Petter 2 Math Carl 3 Lucy 4 Petter 5 Histioy Carl 6 Lucy 7 Petter 8 dtype: int32 '''
data.unstack()
''' Name Course Carl English 0 Math 3 Histioy 6 Lucy English 1 Math 4 Histioy 7 Petter English 2 Math 5 Histioy 8 dtype: int32 '''
2、处理堆叠格式
堆叠格式也叫长格式，一般关系型数据库存储时间序列的数据会采用此种格式
虽然这种存储格式对于关系型数据库是好的，不仅保持了关系完整性还提供了方便的查询支持，但是对于数据操作可能就不那么方便了，DataFrame的数据格式才更加方便。
pivot() 方法
df5 = DataFrame({'data':['1989-06-01','1989-04-25','1999-07-25'],'item':['Carl','Lucy','Peter'],'value':['60','41','44']})
''' data item value 0 1989-06-01 Carl 60 1 1989-04-25 Lucy 41 2 1999-07-25 Peter 44 '''
# df5.pivot(index=None, columns=None, values=None)
df5.pivot('data','item','value').fillna('空值')
''' item Carl Lucy Peter data 1989-04-25 空值 41 空值 1989-06-01 60 空值 空值 1999-07-25 空值 空值 44 '''