*從本篇開始所有文章的數據和代碼都已上傳至我的github倉庫：https://github.com/CNFeffery/DataScienceStudyNotes
一、簡介
pandas提供了很多方便簡潔的方法，用於對單列、多列數據進行批量運算或分組聚合運算，熟悉這些方法后可極大地提升數據分析的效率，也會使得你的代碼更加地優雅簡潔，本文就將針對pandas中的map()、apply()、applymap()、groupby()、agg()等方法展開詳細介紹，並結合實際例子幫助大家更好地理解它們的使用技巧（本文使用到的所有代碼及數據均保存在我的github倉庫：https://github.com/CNFeffery/DataScienceStudyNotes對應本文的文件夾下）。
二、非聚合類方法
這里的非聚合指的是數據處理前后沒有進行分組操作，數據列的長度沒有發生改變，因此本章節中不涉及groupby()，首先讀入數據，這里使用到的全美嬰兒姓名數據，包含了1880-2018年全美每年對應每個姓名的新生兒數據，在jupyterlab中讀入數據並打印數據集的一些基本信息以了解我們的數據集：
import pandas as pd #讀入數據 data = pd.read_csv('data.csv') data.head()
#查看各列數據類型、數據框行列數 print(data.dtypes) print() print(data.shape)
2.1 map()
類似Python內建的map()方法，pandas中的map()方法將函數、字典索引或是一些需要接受單個輸入值的特別的對象與對應的單個列的每一個元素建立聯系並串行得到結果，譬如這里我們想要得到gender列的F、M轉換為女性、男性的新列，可以有以下幾種實現方式：
● 字典映射
這里我們編寫F、M與女性、男性之間一一映射的字典，再利用map()方法來得到映射列：
#定義F->女性，M->男性的映射字典 gender2xb = {'F': '女性', 'M': '男性'} #利用map()方法得到對應gender列的映射列 data.gender.map(gender2xb)
● lambda函數
這里我們向map()中傳入lambda函數來實現所需功能：
#因為已經知道數據gender列性別中只有F和M所以編寫如下lambda函數 data.gender.map(lambda x:'女性' if x is 'F' else '男性')
● 常規函數
也可以傳入def定義的常規函數：
def gender_to_xb(x): return '女性' if x is 'F' else '男性' data.gender.map(gender_to_xb)
map()可以傳入的內容有時候可以很特殊，如下面的例子：
● 特殊對象
一些接收單個輸入值且有輸出的對象也可以用map()方法來處理：
data.gender.map("This kid's gender is {}".format)
map()還有一個參數na_action，類似R中的na.action，取值為'None'或'ingore'，用於控制遇到缺失值的處理方式，設置為'ingore'時串行運算過程中將忽略Nan值原樣返回。
2.2 apply()
apply()堪稱pandas中最好用的方法，其使用方式跟map()很像，主要傳入的主要參數都是接受輸入返回輸出，但相較於map()針對單列Series進行處理，一條apply()語句可以對單列或多列進行運算，覆蓋非常多的使用場景，下面我們來分別介紹：
● 單列數據
這里我們參照2.1向apply()中傳入lambda函數：
data.gender.apply(lambda x:'女性' if x is 'F' else '男性')
可以看到這里實現了跟map()一樣的功能。
● 輸入多列數據
apply()最特別的地方在於其可以同時處理多列數據，我們先來了解一下如何處理多列數據輸入單列數據輸出的情況，譬如這里我們編寫一個使用到多列數據的函數用於拼成對於每一行描述性的話，並在apply()用lambda函數傳遞多個值進編寫好的函數中（當調用DataFrame.apply()時，apply()在串行過程中實際處理的是每一行數據而不是Series.apply()那樣每次處理單個值），注意在處理多個值時要給apply()添加參數axis=1：
def generate_descriptive_statement(year, name, gender, count): year, count = str(year), str(count) gender = '女性' if gender is 'F' else '男性' return '在{}年，叫做{}性別為{}的新生兒有{}個。'.format(year, name, gender, count) data.apply(lambda row:generate_descriptive_statement(row['year'], row['name'], row['gender'], row['count']), axis = 1)
● 輸出多列數據
有些時候我們利用apply()會遇到希望同時輸出多列數據的情況，在apply()中同時輸出多列時實際上返回的是一個Series，這個Series中每個元素是與apply()中傳入函數的返回值順序對應的元組，比如下面我們利用apply()來提取name列中的首字母和剩余部分字母：
data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)
可以看到，這里返回的是單列結果，每個元素是返回值組成的元組，這時若想直接得到各列分開的結果，需要用到zip(*zipped)來解開元組序列，從而得到分離的多列返回值：
a, b = zip(*data.apply(lambda row: (row['name'][0], row['name'][1:]), axis=1)) print(a[:10]) print(b[:10])
● 結合tqdm給apply()過程添加進度條
我們知道apply()在運算時實際上仍然是一行一行遍歷的方式，因此在計算量很大時如果有一個進度條來監視運行進度就很舒服，在（數據科學學習手札53）Python中tqdm模塊的用法中，我對基於tqdm為程序添加進度條做了介紹，而tqdm對pandas也是有着很好的支持，我們可以使用progress_apply()代替apply()，並在運行progress_apply()之前添加tqdm.tqdm.pandas(desc='')來啟動對apply過程的監視，其中desc參數傳入對進度進行說明的字符串，下面我們在上一小部分示例的基礎上進行改造來添加進度條功能：
from tqdm import tqdm def generate_descriptive_statement(year, name, gender, count): year, count = str(year), str(count) gender = '女性' if gender is 'F' else '男性' return '在{}年，叫做{}性別為{}的新生兒有{}個。'.format(year, name, gender, count) #啟動對緊跟着的apply過程的監視 tqdm.pandas(desc='apply') data.progress_apply(lambda row:generate_descriptive_statement(row['year'], row['name'], row['gender'], row['count']), axis = 1)
可以看到在jupyter lab中運行程序的過程中，下方出現了監視過程的進度條，這樣就可以實時了解apply過程跑到什么地方了。
● 結合tqdm_notebook()給apply()過程添加美觀進度條
熟悉tqdm的朋友都知道其針對jupyter notebook開發了ui更加美觀的tqdm_notebook()，而要想在jupyter notebook/jupyter lab平台上為pandas的apply過程添加美觀進度條，可以參照如下示例：
from tqdm._tqdm_notebook import tqdm_notebook tqdm_notebook.pandas(desc='apply') data.progress_apply(lambda row:generate_descriptive_statement(row['year'], row['name'], row['gender'], row['count']), axis = 1)
這時所添加的進度條就美觀了不少。
2.3 applymap()
applymap()是與map()方法相對應的專屬於DataFrame對象的方法，類似map()方法傳入函數、字典等，傳入對應的輸出結果，不同的是applymap()將傳入的函數等作用於整個數據框中每一個位置的元素，因此其返回結果的形狀與原數據框一致，譬如下面的簡單示例，我們把嬰兒姓名數據中所有的字符型數據消息小寫化處理，對其他類型則原樣返回：
def lower_all_string(x): if isinstance(x, str): return x.lower() else: return x data.applymap(lower_all_string)
其形狀沒有變化:
配合applymap()，可以簡潔地完成很多數據處理操作。
三、聚合類方法
有些時候我們需要像SQL里的聚合操作那樣將原始數據按照某個或某些離散型的列進行分組再求和、平均數等聚合之后的值，在pandas中分組運算是一件非常優雅的事。
3.1 利用groupby()進行分組
要進行分組運算第一步當然就是分組，在pandas中對數據框進行分組使用到groupby()方法，其主要使用到的參數為by，這個參數用於傳入分組依據的變量名稱，當變量為1個時傳入名稱字符串即可，當為多個時傳入這些變量名稱列表，DataFrame對象通過groupby()之后返回一個生成器，需要將其列表化才能得到需要的分組后的子集，如下面的示例：
#按照年份和性別對嬰兒姓名數據進行分組 groups = data.groupby(by=['year','gender']) #查看groups類型 type(groups)
可以看到它此時是生成器，下面我們用列表解析的方式提取出所有分組后的結果：
#利用列表解析提取分組結果 groups = [group for group in groups]
查看其中的一個元素：
可以看到每一個結果都是一個二元組，元組的第一個元素是對應這個分組結果的分組組合方式，第二個元素是分組出的子集數據框，而對於DataFrame.groupby()得到的結果，主要可以進行以下幾種操作：
● 直接調用聚合函數
譬如這里我們提取count列后直接調用max()方法：
#求每個分組中最高頻次 data.groupby(by=['year','gender'])['count'].max()
注意這里的year、gender列是以索引的形式存在的，想要把它們還原回數據框，使用reset_index(drop=False)即可：
● 結合apply()
分組后的結果也可以直接調用apply()，這樣可以編寫更加自由的函數來完成需求，譬如下面我們通過自編函數來求得每年每種性別出現頻次最高的名字及對應頻次，要注意的是，這里的apply傳入的對象是每個分組之后的子數據框，所以下面的自編函數中直接接收的df參數即為每個分組的子數據框：
import numpy as np def find_most_name(df): return str(np.max(df['count']))+'-'+df['name'][np.argmax(df['count'])] data.groupby(['year','gender']).apply(find_most_name).reset_index(drop=False)
3.2 利用agg()進行更靈活的聚合
agg即aggregate，聚合，在pandas中可以利用agg()對Series、DataFrame以及groupby()后的結果進行聚合，其傳入的參數為字典，鍵為變量名，值為對應的聚合函數字符串，譬如{'v1':['sum','mean'], 'v2':['median','max','min]}就代表對數據框中的v1列進行求和、均值操作，對v2列進行中位數、最大值、最小值操作，下面用幾個簡單的例子演示其具體使用方式：
● 聚合Series
在對Series進行聚合時，因為只有1列，所以可以不使用字典的形式傳遞參數，直接傳入函數名列表即可：
#求count列的最小值、最大值以及中位數 data['count'].agg(['min','max','median'])
● 聚合數據框
對數據框進行聚合時因為有多列，所以要使用字典的方式傳入聚合方案：
data.agg({'year': ['max','min'], 'count': ['mean','std']})
值得注意的是，因為上例中對於不同變量的聚合方案不統一，所以會出現NaN的情況。
● 聚合groupby()結果
data.groupby(['year','gender']).agg({'count':['min','max','median']}).reset_index(drop=False)
可以注意到雖然我們使用reset_index()將索引列還原回變量，但聚合結果的列名變成紅色框中奇怪的樣子，而在pandas 0.25.0以及之后的版本中，可以使用pd.NamedAgg()來為聚合后的每一列賦予新的名字：
data.groupby(['year','gender']).agg( min_count=pd.NamedAgg(column='count', aggfunc='min'), max_count=pd.NamedAgg(column='count', aggfunc='max'), median=pd.NamedAgg(column='count', aggfunc='median')).reset_index(drop=False)
以上就是本文全部內容，如有筆誤望指出！
* 2019.10.28更新：添加了使用apply同時返回分離的多列數據的方法
* 2019.11.26更新：添加了tqdm_notebook()版apply()進度條的使用方法