Pandas:讓你像寫SQL一樣做數據分析


1. 引言

Pandas是一個開源的Python數據分析庫。Pandas把結構化數據分為了三類:

  • Series,1維序列,可視作為沒有column名的、只有一個column的DataFrame;
  • DataFrame,同Spark SQL中的DataFrame一樣,其概念來自於R語言,為多column並schema化的2維結構化數據,可視作為Series的容器(container);
  • Panel,為3維的結構化數據,可視作為DataFrame的容器;

DataFrame較為常見,因此本文主要討論內容將為DataFrame。DataFrame的生成可通過讀取純文本、Json等數據來生成,亦可以通過Python對象來生成:

import pandas as pd import numpy as np df = pd.DataFrame({'total_bill': [16.99, 10.34, 23.68, 23.68, 24.59], 'tip': [1.01, 1.66, 3.50, 3.31, 3.61], 'sex': ['Female', 'Male', 'Male', 'Male', 'Female']})

對於DataFrame,我們可以看到其固有屬性:

# data type of columns print df.dtypes # indexes print df.index # return pandas.Index print df.columns # each row, return array[array] print df.values
  • .index,為行索引
  • .columns,為列名稱(label)
  • .dtype,為列數據類型

2. SQL操作

官方Doc給出了部分SQL的Pandas實現。在此基礎上,本文給出了一些擴充說明。以下內容基於Python 2.7 + Pandas 0.18.1的版本。

select

SQL中的select是根據列的名稱來選取;Pandas則更為靈活,不但可根據列名稱選取,還可以根據列所在的position選取。相關函數如下:

  • loc,基於列label,可選取特定行(根據行index);
  • iloc,基於行/列的position;
print df.loc[1:3, ['total_bill', 'tip']] print df.loc[1:3, 'tip': 'total_bill'] print df.iloc[1:3, [1, 2]] print df.iloc[1:3, 1: 3]
  • at,根據指定行index及列label,快速定位DataFrame的元素;
  • iat,與at類似,不同的是根據position來定位的;
print df.at[3, 'tip'] print df.iat[3, 1]
  • ix,為loc與iloc的混合體,既支持label也支持position;
print df.ix[1:3, [1, 2]] print df.ix[1:3, ['total_bill', 'tip']]

此外,有更為簡潔的行/列選取方式:

print df[1: 3] print df[['total_bill', 'tip']] # print df[1:2, ['total_bill', 'tip']] # TypeError: unhashable type

where

Pandas實現where filter,較為常用的辦法為df[df[colunm] boolean expr],比如:

print df[df['sex'] == 'Female'] print df[df['total_bill'] > 20] # or print df.query('total_bill > 20')

在where子句中常常會搭配and, or, in, not關鍵詞,Pandas中也有對應的實現:

# and print df[(df['sex'] == 'Female') & (df['total_bill'] > 20)] # or print df[(df['sex'] == 'Female') | (df['total_bill'] > 20)] # in print df[df['total_bill'].isin([21.01, 23.68, 24.59])] # not print df[-(df['sex'] == 'Male')] print df[-df['total_bill'].isin([21.01, 23.68, 24.59])] # string function print df = df[(-df['app'].isin(sys_app)) & (-df.app.str.contains('^微信\d+$'))]

對where條件篩選后只有一行的dataframe取其中某一列的值,其兩種實現方式如下:

total = df.loc[df['tip'] == 1.66, 'total_bill'].values[0] total = df.get_value(df.loc[df['tip'] == 1.66].index.values[0], 'total_bill')

distinct

drop_duplicates根據某列對dataframe進行去重:

df.drop_duplicates(subset=['sex'], keep='first', inplace=True)

包含參數:

  • subset,為選定的列做distinct,默認為所有列;
  • keep,值選項{'first', 'last', False},保留重復元素中的第一個、最后一個,或全部刪除;
  • inplace ,默認為False,返回一個新的dataframe;若為True,則返回去重后的原dataframe

group

group一般會配合合計函數(Aggregate functions)使用,比如:count、avg等。Pandas對合計函數的支持有限,有count和size函數實現SQL的count:

print df.groupby('sex').size() print df.groupby('sex').count() print df.groupby('sex')['tip'].count()

對於多合計函數,

select sex, max(tip), sum(total_bill) as total from tips_tb group by sex;

實現在agg()中指定dict:

print df.groupby('sex').agg({'tip': np.max, 'total_bill': np.sum}) # count(distinct **) print df.groupby('tip').agg({'sex': pd.Series.nunique})

as

SQL中使用as修改列的別名,Pandas也支持這種修改:

# first implementation df.columns = ['total', 'pit', 'xes'] # second implementation df.rename(columns={'total_bill': 'total', 'tip': 'pit', 'sex': 'xes'}, inplace=True)

其中,第一種方法的修改是有問題的,因為其是按照列position逐一替換的。因此,我推薦第二種方法。

join

Pandas中join的實現也有兩種:

# 1. df.join(df2, how='left'...) # 2. pd.merge(df1, df2, how='left', left_on='app', right_on='app')

第一種方法是按DataFrame的index進行join的,而第二種方法才是按on指定的列做join。Pandas滿足left、right、inner、full outer四種join方式。

order

Pandas中支持多列order,並可以調整不同列的升序/降序,有更高的排序自由度:

print df.sort_values(['total_bill', 'tip'], ascending=[False, True])

top

對於全局的top:

print df.nlargest(3, columns=['total_bill'])

對於分組top,MySQL的實現(采用自join的方式):

select a.sex, a.tip from tips_tb a where ( select count(*) from tips_tb b where b.sex = a.sex and b.tip > a.tip ) < 2 order by a.sex, a.tip desc;

Pandas的等價實現,思路與上類似:

# 1. df.assign(rn=df.sort_values(['total_bill'], ascending=False) .groupby('sex') .cumcount()+1)\ .query('rn < 3')\ .sort_values(['sex', 'rn']) # 2. df.assign(rn=df.groupby('sex')['total_bill'] .rank(method='first', ascending=False)) \ .query('rn < 3') \ .sort_values(['sex', 'rn'])

replace

replace函數提供對dataframe全局修改,亦可通過where條件進行過濾修改(搭配loc):

# overall replace df.replace(to_replace='Female', value='Sansa', inplace=True) # dict replace df.replace({'sex': {'Female': 'Sansa', 'Male': 'Leone'}}, inplace=True) # replace on where condition df.loc[df.sex == 'Male', 'sex'] = 'Leone'

自定義

除了上述SQL操作外,Pandas提供對每列/每一元素做自定義操作,為此而設計以下三個函數:

  • map(func),為Series的函數,DataFrame不能直接調用,需取列后再調用;
  • apply(func),對DataFrame中的某一行/列進行func操作;
  • applymap(func),為element-wise函數,對每一個元素做func操作
print df['tip'].map(lambda x: x - 1) print df[['total_bill', 'tip']].apply(sum) print df.applymap(lambda x: x.upper() if type(x) is str else x)

3. 實戰

環比增長

現有兩個月APP的UV數據,要得到月UV環比增長;該操作等價於兩個Dataframe left join后按指定列做減操作:

def chain(current, last): df1 = pd.read_csv(current, names=['app', 'tag', 'uv'], sep='\t') df2 = pd.read_csv(last, names=['app', 'tag', 'uv'], sep='\t') df3 = pd.merge(df1, df2, how='left', on='app') df3['uv_y'] = df3['uv_y'].map(lambda x: 0.0 if pd.isnull(x) else x) df3['growth'] = df3['uv_x'] - df3['uv_y'] return df3[['app', 'growth', 'uv_x', 'uv_y']].sort_values(by='growth', ascending=False)

差集

對於給定的列,一個Dataframe過濾另一個Dataframe該列的值;相當於集合的差集操作:

def difference(left, right, on): """  difference of two dataframes  :param left: left dataframe  :param right: right dataframe  :param on: join key  :return: difference dataframe  """ df = pd.merge(left, right, how='left', on=on) left_columns = left.columns col_y = df.columns[left_columns.size] df = df[df[col_y].isnull()] df = df.ix[:, 0:left_columns.size] df.columns = left_columns return df




免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM