一,Pivot 及 Pivot_table函數用法
Pivot和Pivot_table函數都是對數據做透視表而使用的。其中的區別在於Pivot_table可以支持重復元素的聚合操作,而Pivot函數只能對不重復的元素進行聚合操作。
在一般的日常業務中,因為Pivot_table的功能更為強大,Pivot能做的不能做的Pivot_table都可做。所以只需要記住Pivot_table函數用法就好了。
Pivot函數的使用演示
#%% import pandas as pd df01 = pd.DataFrame( { "年份":[2019,2019,2019,2020,2020,2020], "平台":["京東","淘寶","拼多多","京東","淘寶","拼多多"], "銷量":[100,200,300,400,500,600] } ) df01 #%% pd.pivot(df01, index = "年份", columns = "平台", values = "銷量") #%%
聚合后結果
Pivot_table函數的使用演示
注釋:index指定什么元素作為index顯示,columns指定列,values指定統計的值。一般values都為int后者float類型的值。aggfunc為聚合函數可以指定(mean,sum,Min,Max等統計運算等函數,如果不指定默認為mean均值)
df02 = pd.DataFrame( { "年份":[2019,2019,2019,2019,2020,2020,2020,2020], "平台":["京東","淘寶","淘寶","拼多多","京東","淘寶","拼多多","拼多多"], "銷量":[100,200,300,400,500,600,700,800] } ) df02 #%% #pivot_table用的很多.因為可以對重復的元素進行聚合操作.而pivot函數只能對不重復的行進行運算 pd.pivot_table(df02, index="年份", columns="平台", values="銷量", aggfunc=sum #聚合函數來對銷量進行運算.可以指定最大,最小,平均值等函數.默認為mean平均值 ) #%%
聚合結果
對比結果:這里要強調一點的是,2020年平台為拼多多的數據出現了2次,而且2次的值不同。在pivot函數中是無法對這種重復平台的數據進行聚合的,但是Pivot_table則可以。
另外通過聚合函數aggfunc指定sum求和,可以把2次的值累加統計。
Pivot_table函數真實案例演示
1. 讀取表格數據
#%% df = pd.read_excel("./datas/result_datas.xlsx", ).convert_dtypes() #讀取數據並自動轉化type df.dtypes #%% df.head(3) #%%
2. 通過Pivot_table函數透視合並數據並對金額和數量做統計
因為涉及到敏感信息,因此服務卡卡號等敏感信息部分遮掩不顯示。但是通過部分結果也可以看出是按照號碼進行升序排序的
#按照自定義指定index,columns,values值 result = pd.pivot_table(df, index = ["姓名","服務卡卡號","明細","規格"], values = ["理賠金額(元)","數量"], aggfunc=sum ) result = result.sort_values("服務卡卡號") #按照指定values值排序 result #%% #輸出到文件 result.to_excel("./datas/output_datas.xlsx") print("Done!!!")
二,CategoricalDtype自定義排序
當我們的透視表生成完畢后,有很多情況下需要我們對某列或某行值進行排序。排序有很多種方法。例如sort_index及sort_values函數也可以對數據進行排序,這里就不多說了。
對於數值和字母的排序很容易,但是對於中文的排序就有點麻煩了。默認情況下是按照utf-8的編碼來進行排序的但是即使如此也很難滿足我們對漢字排序的要求。所以通過CategoricalDtye可以把數據類型轉成Category類型
然后通過指定參數列表的順序來自定義那個元素先那個元素后,完全取決於你把那個元素放在List的前面,這樣就大大方便了我們對中文排序的操作。
代碼如下:
1. 自動生成DataFrame數據
#%% import pandas as pd from datetime import datetime city =["上海","北京","深圳","杭州","蘇州","青島","大連","齊齊哈爾","大理","麗江", "天津","濟南","南京","廣州","無錫","連雲港","張家界"] #創建自動從list中選取valuse值的get_list函數 #replace=True代表允許選出的元素重復 def get_list(items,size=20): return pd.Series(items).sample(n=size,replace=True).to_list() #通過get_list自動生成數據,最終生成一個DataFrame df = pd.DataFrame({ "城市":get_list(city), "倉位":get_list(["經濟艙","商務艙","頭等艙"]), "航線":get_list(["單程","往返"]), "日期": get_list([datetime(2020,8,1),datetime(2020,8,2), datetime(2020,8,3),datetime(2020,8,4)]), "時間": get_list(["09:00 - 12:00", "13:00 - 15:30", "06:30 - 15:00", "18:00 - 21:00", "20:00 - 23:20", "10:00 - 15:00"]), "航空公司": get_list(["東方航空","南方航空","深圳航空","山東航空","中國航空"]), "出票數量":get_list([10,15,20,25,30,35,40,45,50,55,60]), }) #%% df
結果如下:
2. 查看數據類型
#%% df.dtypes
3. 自定義數據類型(Category)按照指定順序排序,並通過透視表展示數據
#%% #自定義type,以及自定義排序的順序 my_type = pd.CategoricalDtype( categories=["頭等艙","商務艙","經濟艙"], ordered=True ) df["倉位"] = df["倉位"].astype(my_type) #將指定列轉成自定義的type df.dtypes #%% #通過透視表統計數據 tb = pd.pivot_table( df, index=["城市","倉位","航線","日期","時間"], values="出票數量", aggfunc=sum ) tb
先查看數據類型:可以看出倉位的數據類型已經從Object變成了category類型了。
結果為:
分析上述數據可以看出,我們把倉位按照["頭等艙","商務艙","經濟艙"]的順序進行了排序,排序結果也是按照這個順序排列的,成功的滿足了我們對中文列自定義排序的需求。
通過Pivot_table函數更加清晰的對原有數據進行了展示。也可以按照自己的需求展示其中的一部分數據。這樣對數據的清洗及展示變得更加的靈活。