Python pandas庫 ->groupby分組操作

首先 在SQL中 分組操作group by是對行記錄的拆分

在pandas中 分組操作groupby可以選擇對行或者列進行拆分

pandas分組之后可以根據每組的組名value(非列名)訪問部分數據 因為分組后默認以組名作為索引 groupby默認參數as_index=True

如果設置as_index=False 分組后所有的列名不變 

類似於SQL中 group by之后的having 分組列名=value

最后都是用聚合方法 合並計算數據

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df1=DataFrame({'symbol':['001','001','002','002','003'],
'tdate':['201901','201902','201901','201902','201901'],
'open':np.random.randint(0,50,5),
'close':np.random.randint(50,100,5)})

print(df1)

grp1=df1.groupby('symbol')
grp2=df1.groupby(['symbol','tdate'])

print('#可用循環語句訪問組名和每組的內容')
for name,group in grp1:
    print(name)
    print(group)

print('#通過組名訪問數據')
print(grp1.get_group('001'))
print(grp2.get_group(('001','201901')))
    
print('#計算指定列的均值 三種等價寫法')
print(grp1.open.mean())
print(grp1.open.agg('mean')) #這里函數mean要加引號 如果是自定義函數不需要
print(grp1.agg({'open':'mean'})) #這里指定了列名 返回DataFrame而非Series

print('#計算指定列的指定聚合方法')
def my_func(x):
    return max(x)-min(x)
print(grp1.open.agg(my_func))
print(grp1.open.agg(lambda x:max(x)-min(x))) #用匿名函數

print('#對指定列進行計算處理')
print(grp1.open.apply(lambda x:x+100))

結果如下圖

 

同時 pandas可以直接對列進行拆分 設置groupby 參數axis=1即可

這個在SQL中是難以做到的

import numpy as np
import pandas as pd
from pandas import DataFrame,Series
df1=DataFrame({'symbol':['001','001','002','002','003'],
'tdate':['201901','201902','201901','201902','201901'],
'open':np.random.randint(0,50,5),
'close':np.random.randint(50,100,5)})

print(df1)

print('#'*20)

grp3=df1.groupby(df1.dtypes,axis=1)
grp4=df1.groupby({'symbol':'a','tdate':'a','open':'b','close':'b'},axis=1)

for name,group in grp3:
    print(name)
    print(group)
    
print('#'*20)

for name,group in grp4:
    print(name)
    print(group)
    if name=='b':
        print('#根據組名訪問')
        print(grp4.get_group(name))
        print('#聚合操作')
        print(grp4.get_group(name).mean()) 

結果如下圖

 謝謝!