pandas 庫總體說明
Pandas 基亍 NumPy、SciPy 補充了大量數據操作功能，能實現統計、凾組、排序、透規 表，可以代替 Excel 的絳大部凾功能。
Pandas 主要有 2 種重要數據類型:Series、DataFrame(一維序列、二維表)。數據類型 的轉換需要用到 pd.Series/DataFrame.
1)Series
可以是一個樣本的所有觀測值戒一組樣本的某一屬性的觀測值。
如利用 NumPy 生成一個正態凾布的隨機數列，共含 4 個值。Series1 = pd.Series(np.random.randn(4))結果就自勱添加了行索引 index。
0 1 2 3
型的輸出，后者給出具體的數值，僅僅輸出 Series 中小亍 0 的數值。
可以使用 Key-Value 的斱式存儲數據:
Series2 = pd.Series(Series1.values, index = ["row_" + unicode(i) for i in range(4)])同樣，Python 的基礎數據結構字典也可以轉化為 Series。
Series3 = pd.Series({"China": "Beijing", "England": "GB", "Japan": "Tokyo"})輸出結果依舊是一個序列，但是因為字典本身是無序的，所有有可能會打亂原字典的頇
序。如果需要頇便丌發，可以使用下面的斱法明確指定返種秩序:
Series4_IndexList = ["China", "Japan", "England"] Series4 = pd.Series(Series3, index = Series4_IndexList)
某些時候，Index 列表沒有相應的對應值，返樣會默認填補為空值，可以使用 isnull(0, notnull()來迒回 Boolean 結果。
Series5_IndexList = ["A", "B", "C", "C"]
Series5 = pd.Series(Series1.values, index = Series5_IndexList)
index 允許重復，但是返樣容易導致錯諢。
2)DataFrame
DataFrame 可以規作 Series 的有序集合， 可以仍數據庫、NumPy 二維數組、JSON 中定 義數據框。
NumPy 二維數組:
微信公號:ChinaHadoop 新浪微博:ChinaHadoop
-1.344609 0.177173 0.554958
-0.576237
過濾 Series 的斱法是:print Series1 < 0 戒 print Series1[Series1 < 0]。前者給出 Boolean 類
DF1 = pd.DataFrame(np.asarray([("Japan", "Tokyo", 4000), ("S.Korea", "Seoul", 1000), ("China", "Beijing", 9000)]), columns = ["nation", "capital", "GDP"])
JSON:
DF2 = pd.DataFrame({"nation": ["Japan", "S.Korea", "China"], "capital": ["Tokyo", "Seoul",
"Beijing"], "GDP": [4000, 1000, 9000]})
但是字典的 key 是無序的,所以我們又要用到剛才 Series 中的類似斱法加以解決:DF3 = pd.DataFrame(DF2, columns = ["nation", "capital", "GDP"])對應地，迓可以人為指定行標秩序。
DF4 = pd.DataFrame(DF2, columns = ["nation", "capital", "GDP"], index = [2, 0, 1])
在 DataFrame 中鑿片:
叏列:推薦使用 DF4["GDP"]，最好別用 DF4.GDP，容易不一些關鍵字(保留字)沖突
叏行:DF4[0: 1]戒者 DF4.ix[0]
區別在亍前者叏了第一行，后者叏了 index(行標)為 0 的第一行。
此外，如果要在數據框勱態增加列，丌能用.的斱式，而要用[] DF4["region"] = "East Asian"
9.3.2 代表性函數的使用介紹:
In [1]: import pandas as pd
In [2]: import numpy as np
In [3]: import matplotlib.pyplot as plt
一、創建對象
1、可以通過傳遞一個 list 對象來創建一個 Series:
In [4]: s = pd.Series([1,3,5,np.nan,6,8])In [5]: s
Out[5]:
- 0 1.0
- 1 3.0
- 2 5.0
- 3 NaN
- 4 6.0
- 5 8.0
dtype: float64
2、通過傳遞一個 numpy array，時間索引以及列標簽來創建一個 DataFrame:
In [6]: dates = pd.date_range('20130101', periods=6)
In [7]: dates
Out[7]:
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='D')
In [8]: df = pd.DataFrame(np.random.randn(6,4), index=dates, columns=list('ABCD'))
In [9]: df
Out[9]:
2013-01-01
2013-01-02
2013-01-03
2013-01-04
2013-01-05
2013-01-06
ABCD 0.469112 -0.282863 -1.509059 -1.135632 1.212112 -0.173215 0.119209 -1.044236
-0.861849 -2.104569 -0.494929 1.071804 0.721555 -0.706771 -1.039575 0.271860 -0.424972 0.567020 0.276232 -1.087401 -0.673690 0.113648 -1.478427 0.524988
3、通過傳遞一個能夠被轉換成類似序列結構的字典對象來創建一個 DataFrame:
In [10]: df2 = pd.DataFrame({ 'A' : 1.,
- ....: 'B' : pd.Timestamp('20130102'),
- ....: 'C' :
pd.Series(1,index=list(range(4)),dtype='float32'),
- ....: 'D' : np.array([3] * 4,dtype='int32'),
- ....: 'E' :
pd.Categorical(["test","train","test","train"]),
....: 'F' : 'foo' })....:
In [11]: df2
Out[11]:
ABCDEF 0 1.0 2013-01-02 1.0 3 test foo 1 1.0 2013-01-02 1.0 3 train foo 2 1.0 2013-01-02 1.0 3 test foo 3 1.0 2013-01-02 1.0 3 train foo
4、查看不同列的數據類型:
In [12]: df2.dtypesOut[12]:
A
B
C
D
E
F
dtype: object
float64
datetime64[ns]
float32
int32
category
object
二、查看數據
1、 查看 frame 中頭部和尾部的行:
In [14]: df.head()
Out[14]:
ABCD 2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 2013-01-04 0.721555 -0.706771 -1.039575 0.271860 2013-01-05 -0.424972 0.567020 0.276232 -1.087401
In [15]: df.tail(3)Out[15]:
ABCD 2013-01-04 0.721555 -0.706771 -1.039575 0.271860 2013-01-05 -0.424972 0.567020 0.276232 -1.087401 2013-01-06 -0.673690 0.113648 -1.478427 0.524988
2、 顯示索引、列和底層的 numpy 數據:
In [16]: df.index
Out[16]:
DatetimeIndex(['2013-01-01', '2013-01-02', '2013-01-03', '2013-01-04',
'2013-01-05', '2013-01-06'], dtype='datetime64[ns]', freq='D')
In [17]: df.columns
Out[17]: Index([u'A', u'B', u'C', u'D'], dtype='object')
In [18]: df.values
Out[18]:
array([[ 0.4691, -0.2829, -1.5091, -1.1356],
[ 1.2121, -0.1732, 0.1192, -1.0442], [-0.8618, -2.1046, -0.4949, 1.0718], [ 0.7216, -0.7068, -1.0396, 0.2719], [-0.425 , 0.567 , 0.2762, -1.0874],
[-0.6737, 0.1136, -1.4784, 0.525 ]])
3、 describe()函數對於數據的快速統計匯總:
In [19]: df.describe()Out[19]:
ABCD count 6.000000 6.000000 6.000000 6.000000 mean 0.073711 -0.431125 -0.687758 -0.233103 std 0.843157 0.922818 0.779887 0.973118 min -0.861849 -2.104569 -1.509059 -1.135632 25% -0.611510 -0.600794 -1.368714 -1.076610
50% 0.022070 -0.228039 -0.767252 -0.386188 75% 0.658444 0.041933 -0.034326 0.461706 max 1.212112 0.567020 0.276232 1.071804
4、 對數據的轉置:
In [20]: df.T
Out[20]:
2013-01-01
A 0.469112
B -0.282863
C -1.509059
D -1.135632
2013-01-02
1.212112
-0.173215
0.119209
-1.044236
2013-01-03
-0.861849
-2.104569
-0.494929
1.071804
2013-01-04
0.721555
-0.706771
-1.039575
0.271860
2013-01-05
-0.424972
0.567020
0.276232
-1.087401
2013-01-06
-0.673690
0.113648
-1.478427
0.524988
5、 按軸進行排序
In [21]: df.sort_index(axis=1, ascending=False)Out[21]:
DCBA 2013-01-01 -1.135632 -1.509059 -0.282863 0.469112 2013-01-02 -1.044236 0.119209 -0.173215 1.212112 2013-01-03 1.071804 -0.494929 -2.104569 -0.861849 2013-01-04 0.271860 -1.039575 -0.706771 0.721555 2013-01-05 -1.087401 0.276232 0.567020 -0.424972
2013-01-06 0.524988 -1.478427 0.113648 -0.673690
6、 按值進行排序
In [22]: df.sort_values(by='B')Out[22]:
ABCD 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 2013-01-04 0.721555 -0.706771 -1.039575 0.271860 2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 2013-01-02 1.212112 -0.173215 0.119209 -1.044236
2013-01-06 -0.673690 0.113648 -1.478427 0.524988 2013-01-05 -0.424972 0.567020 0.276232 -1.087401
三、選擇
雖然標准的 Python/Numpy 的選擇和設置表達式都能夠直接派上用場，但是作為工程 使用的代碼，推薦使用經過優化的 pandas 數據訪問方式: .at, .iat, .loc, .iloc 和 .ix。
獲取
1、 選擇一個單獨的列，這將會返回一個 Series，等同於 df.A:
In [23]: df['A']
Out[23]:
2013-01-01 0.469112
2013-01-02
2013-01-03
2013-01-04
2013-01-05
2013-01-06
Freq: D, Name: A, dtype: float64
1.212112
-0.861849
0.721555
-0.424972
-0.673690
2、 通過[]進行選擇，這將會對行進行切片
In [24]: df[0:3]
Out[24]:
ABCD 2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
In [25]: df['20130102':'20130104']Out[25]:
ABCD 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 2013-01-04 0.721555 -0.706771 -1.039575 0.271860
通過標簽選擇
1、 使用標簽來獲取一個交叉的區域
In [26]: df.loc[dates[0]]Out[26]:
- A 0.469112
- B -0.282863
- C -1.509059
- D -1.135632
Name: 2013-01-01 00:00:00, dtype: float64
2、 通過標簽來在多個軸上進行選擇
In [27]: df.loc[:,['A','B']]Out[27]:
AB 2013-01-01 0.469112 -0.282863 2013-01-02 1.212112 -0.173215 2013-01-03 -0.861849 -2.104569 2013-01-04 0.721555 -0.706771 2013-01-05 -0.424972 0.567020 2013-01-06 -0.673690 0.113648
3、 標簽切片
In [28]: df.loc['20130102':'20130104',['A','B']]Out[28]:
AB 2013-01-02 1.212112 -0.173215 2013-01-03 -0.861849 -2.104569 2013-01-04 0.721555 -0.706771
4、 對於返回的對象進行維度縮減
In [29]: df.loc['20130102',['A','B']]Out[29]:
A 1.212112
B -0.173215
Name: 2013-01-02 00:00:00, dtype: float64
5、 獲取一個標量
In [30]: df.loc[dates[0],'A']Out[30]: 0.46911229990718628
6、 快速訪問一個標量(與上一個方法等價)
In [31]: df.at[dates[0],'A']Out[31]: 0.46911229990718628
通過位置選擇
1、 通過傳遞數值進行位置選擇(選擇的是行)
In [32]: df.iloc[3]Out[32]:
A
B
C
D
Name: 2013-01-04 00:00:00, dtype: float64
0.721555
-0.706771
-1.039575
0.271860
2、 通過數值進行切片，與 numpy/python 中的情況類似
In [33]: df.iloc[3:5,0:2]Out[33]:
AB 2013-01-04 0.721555 -0.706771 2013-01-05 -0.424972 0.567020
3、 通過指定一個位置的列表，與 numpy/python 中的情況類似
In [34]: df.iloc[[1,2,4],[0,2]]Out[34]:
AC 2013-01-02 1.212112 0.119209
2013-01-03 -0.861849 -0.494929 2013-01-05 -0.424972 0.276232
4、對行進行切片
In [35]: df.iloc[1:3,:]Out[35]:
ABCD 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804
5、 對列進行切片
In [36]: df.iloc[:,1:3]Out[36]:
BC 2013-01-01 -0.282863 -1.509059 2013-01-02 -0.173215 0.119209 2013-01-03 -2.104569 -0.494929 2013-01-04 -0.706771 -1.039575 2013-01-05 0.567020 0.276232 2013-01-06 0.113648 -1.478427
6、 獲取特定的值
In [37]: df.iloc[1,1]
Out[37]: -0.17321464905330858In [38]: df.iat[1,1]
Out[38]: -0.17321464905330858
布爾索引
1、 使用一個單獨列的值來選擇數據:
In [39]: df[df.A > 0]
Out[39]:
ABCD
2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 2013-01-04 0.721555 -0.706771 -1.039575 0.271860
2、選擇數據:
In [40]: df[df > 0]
Out[40]:
ABCD
2013-01-01 0.469112
2013-01-02 1.212112
2013-01-03 NaN
NaN NaN NaN NaN 0.119209 NaN NaN NaN 1.071804
2013-01-04 0.721555 NaN NaN 0.271860 2013-01-05 NaN 0.567020 0.276232 NaN 2013-01-06 NaN 0.113648 NaN 0.524988
3、 使用 isin()方法來過濾:
In [41]: df2 = df.copy()
In [42]: df2['E'] = ['one', 'one','two','three','four','three']In [43]: df2
Out[43]:
ABCDE 2013-01-01 0.469112 -0.282863 -1.509059 -1.135632 one 2013-01-02 1.212112 -0.173215 0.119209 -1.044236 one 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two 2013-01-04 0.721555 -0.706771 -1.039575 0.271860 three 2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four 2013-01-06 -0.673690 0.113648 -1.478427 0.524988 three
In [44]: df2[df2['E'].isin(['two','four'])]Out[44]:
ABCDE 2013-01-03 -0.861849 -2.104569 -0.494929 1.071804 two 2013-01-05 -0.424972 0.567020 0.276232 -1.087401 four
設置
1、 設置一個新的列:
In [45]: s1 = pd.Series([1,2,3,4,5,6], index=pd.date_range('20130102', periods=6))
In [46]: s1
Out[46]:
2013-01-02 1
2013-01-03 2
2013-01-04 3
2013-01-05 4
2013-01-06 5
2013-01-07 6
Freq: D, dtype: int64
In [47]: df['F'] = s1
2、 通過標簽設置新的值:
In [48]: df.at[dates[0],'A'] = 0
3、 通過位置設置新的值:
In [49]: df.iat[0,1] = 0
4、 通過一個 numpy 數組設置一組新值:
In [50]: df.loc[:,'D'] = np.array([5] * len(df))
上述操作結果如下:
In [51]: df
Out[51]:
ABCDF 2013-01-01 0.000000 0.000000 -1.509059 5 NaN 2013-01-02 1.212112 -0.173215 0.119209 5 1.0 2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 2013-01-05 -0.424972 0.567020 0.276232 5 4.0 2013-01-06 -0.673690 0.113648 -1.478427 5 5.0
5、 通過 where 操作來設置新的值:
In [52]: df2 = df.copy()
In [53]: df2[df2 > 0] = -df2In [54]: df2
Out[54]:
ABCDF 2013-01-01 0.000000 0.000000 -1.509059 -5 NaN
2013-01-02 -1.212112 -0.173215 -0.119209 -5 -1.0 2013-01-03 -0.861849 -2.104569 -0.494929 -5 -2.0 2013-01-04 -0.721555 -0.706771 -1.039575 -5 -3.0 2013-01-05 -0.424972 -0.567020 -0.276232 -5 -4.0 2013-01-06 -0.673690 -0.113648 -1.478427 -5 -5.0
四、缺失值處理
在 pandas 中，使用 np.nan 來代替缺失值，這些值將默認不會包含在計算中
1、reindex()方法可以對指定軸上的索引進行改變/增加/刪除操作，這將返回原始數據 的一個拷貝:
In [55]: df1 = df.reindex(index=dates[0:4], columns=list(df.columns) + ['E'])In [56]: df1.loc[dates[0]:dates[1],'E'] = 1
In [57]: df1
Out[57]:
ABCDFE 2013-01-01 0.000000 0.000000 -1.509059 5 NaN 1.0 2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0 2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 NaN 2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 NaN
2、 去掉包含缺失值的行:
In [58]: df1.dropna(how='any')Out[58]:
ABCDFE 2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0
3、 對缺失值進行填充:
In [59]: df1.fillna(value=5)Out[59]:
ABCDFE 2013-01-01 0.000000 0.000000 -1.509059 5 5.0 1.0 2013-01-02 1.212112 -0.173215 0.119209 5 1.0 1.0 2013-01-03 -0.861849 -2.104569 -0.494929 5 2.0 5.0 2013-01-04 0.721555 -0.706771 -1.039575 5 3.0 5.0
4、 對數據進行布爾填充:
In [60]: pd.isnull(df1)Out[60]:
ABCDFE 2013-01-01 False False False False True False 2013-01-02 False False False False False False 2013-01-03 False False False False False True 2013-01-04 False False False False False True
操作
統計(相關操作通常情況下不包括缺失值)
1、 執行描述性統計:
In [61]: df.mean()
Out[61]:
- A -0.004474
- B -0.383981
- C -0.687758
D 5.000000
F 3.000000
dtype: float64
2、 在其他軸上進行相同的操作:
In [62]: df.mean(1)Out[62]:
2013-01-01
2013-01-02
2013-01-03
2013-01-04
0.872735
1.431621
0.707731
1.395042
2013-01-05 1.883656
2013-01-06 1.592306
Freq: D, dtype: float64
3、 對於擁有不同維度，需要對齊的對象進行操作。Pandas 會自動的沿着指定的維 度進行廣播:
In [63]: s
In [64]: s
Out[64]:
2013-01-01
2013-01-02
2013-01-03
2013-01-04
2013-01-05
2013-01-06
Freq: D, dtype: float64
In [65]: df.sub(s, axis='index')Out[65]:
ABCDF 2013-01-01 NaN NaN NaN NaN NaN 2013-01-02 NaN NaN NaN NaN NaN 2013-01-03 -1.861849 -3.104569 -1.494929 4.0 1.0
= pd.Series([1,3,5,np.nan,6,8], index=dates).shift(2)
NaN
NaN
1.0
3.0
5.0
NaN
2013-01-04 -2.278445 -3.706771 -4.039575 2.0 0.0 2013-01-05 -5.424972 -4.432980 -4.723768 0.0 -1.0 2013-01-06 NaN NaN NaN NaN NaN
Apply
1、 對數據應用函數:
In [66]: df.apply(np.cumsum)Out[66]:
ABCDF
2013-01-01 0.000000 0.000000 -1.509059 5 NaN 2013-01-02 1.212112 -0.173215 -1.389850 10 1.0 2013-01-03 0.350263 -2.277784 -1.884779 15 3.0 2013-01-04 1.071818 -2.984555 -2.924354 20 6.0 2013-01-05 0.646846 -2.417535 -2.648122 25 10.0 2013-01-06 -0.026844 -2.303886 -4.126549 30 15.0
In [67]: df.apply(lambda x: x.max() - x.min())Out[67]:
- A 2.073961
- B 2.671590
C 1.785291
D 0.000000
F 4.000000
dtype: float64
直方圖
In [68]: s = pd.Series(np.random.randint(0, 7, size=10))In [69]: s
Out[69]:
04
12 21 32 46 54 64 76 84 94 dtype: int64
In [70]: s.value_counts()Out[70]:
45 62 22 11 dtype: int64
字符串方法
Series 對象在其 str 屬性中配備了一組字符串處理方法，可以很容易的應用到數組中的 每個元素，如下段代碼所示。變成小寫。
In [71]: s = pd.Series(['A', 'B', 'C', 'Aaba', 'Baca', np.nan, 'CABA', 'dog','cat'])
In [72]: s.str.lower()Out[72]:
0a
1b
2c 3 aaba 4 baca 5 NaN
6 caba
7 dog
8 cat
dtype: object
六、合並
Pandas 提供了大量的方法能夠輕松的對 Series，DataFrame 和 Panel 對象進行各種符 合各種邏輯關系的合並操作。
用 concat()把 pandas 類合並到一起:
In [73]: df = pd.DataFrame(np.random.randn(10, 4))In [74]: df
Out[74]:
0123 0 -0.548702 1.467327 -1.015962 -0.483075 1 1.637550 -1.217659 -0.291519 -1.745505 2 -0.263952 0.991460 -0.919069 0.266046 3 -0.709661 1.669052 1.037882 -1.705775 4 -0.919854 -0.042379 1.247642 -0.009920 5 0.290213 0.495767 0.362949 1.548106 6 -1.131345 -0.089329 0.337863 -0.945867 7 -0.932132 1.956030 0.017587 -0.016692 8 -0.575247 0.254161 -1.143704 0.215897 9 1.193555 -0.077118 -0.408530 -0.862495
# break it into pieces
In [75]: pieces = [df[:3], df[3:7], df[7:]]
In [76]: pd.concat(pieces)Out[76]:
0123 0 -0.548702 1.467327 -1.015962 -0.483075 1 1.637550 -1.217659 -0.291519 -1.745505 2 -0.263952 0.991460 -0.919069 0.266046
3 -0.709661 1.669052 1.037882 -1.705775 4 -0.919854 -0.042379 1.247642 -0.009920 5 0.290213 0.495767 0.362949 1.548106 6 -1.131345 -0.089329 0.337863 -0.945867 7 -0.932132 1.956030 0.017587 -0.016692 8 -0.575247 0.254161 -1.143704 0.215897 9 1.193555 -0.077118 -0.408530 -0.862495
Join
Join 類似於 SQL 類型的合並
In [77]: left = pd.DataFrame({'key': ['foo', 'foo'], 'lval': [1, 2]})
In [78]: right = pd.DataFrame({'key': ['foo', 'foo'], 'rval': [4, 5]})In [79]: left
Out[79]:
key lval 0foo 1 1foo 2
In [80]: right
Out[80]:
key rval 0foo 4 1foo 5
In [81]: pd.merge(left, right, on='key')Out[81]:
key lval rval 0foo 1 4 1foo 1 5 2foo 2 4 3foo 2 5
Append
Append 將一行連接到一個 DataFrame 上
In [82]: df = pd.DataFrame(np.random.randn(8, 4), columns=['A','B','C','D'])In [83]: df
Out[83]:
ABCD 0 1.346061 1.511763 1.627081 -0.990582 1 -0.441652 1.211526 0.268520 0.024580 2 -1.577585 0.396823 -0.105381 -0.532532 3 1.453749 1.208843 -0.080952 -0.264610 4 -0.727965 -0.589346 0.339969 -0.693205 5 -0.339355 0.593616 0.884345 1.591431
6 0.141809 0.220390 0.435589 0.192451 7 -0.096701 0.803351 1.715071 -0.708758
In [84]: s = df.iloc[3]
In [85]: df.append(s, ignore_index=True)Out[85]:
ABCD 0 1.346061 1.511763 1.627081 -0.990582 1 -0.441652 1.211526 0.268520 0.024580 2 -1.577585 0.396823 -0.105381 -0.532532 3 1.453749 1.208843 -0.080952 -0.264610
4 -0.727965 -0.589346 0.339969 -0.693205 5 -0.339355 0.593616 0.884345 1.591431 6 0.141809 0.220390 0.435589 0.192451 7 -0.096701 0.803351 1.715071 -0.708758 8 1.453749 1.208843 -0.080952 -0.264610
七、分組
對於”group by”操作，我們通常是指以下一個或多個操作步驟: (Splitting)按照一些規則將數據分為不同的組; (Applying)對於每組數據分別執行一個函數; (Combining)將結果組合到一個數據結構中;
In [86]:
....:
....:
....:
....:
....:
....:
df = pd.DataFrame({'A' : ['foo', 'bar', 'foo', 'bar','foo', 'bar', 'foo', 'foo'],
'B' : ['one', 'one', 'two', 'three','two', 'two', 'one', 'three'],
'C' : np.random.randn(8),'D' : np.random.randn(8)})
In [87]: df
Out[87]:
ABCD 0 foo one -1.202872 -0.055224
1 bar one -1.814470 2.395985 2 foo two 1.018601 1.552825 3 bar three -0.595447 0.166599
4 foo
5 bar
6 foo
7 foo three 1.928123 -1.623033
two 1.395433 0.047609
two -0.392670 -0.136473
one 0.007207 -0.561757
1、 分組並對每個分組執行 sum 函數:
In [88]: df.groupby('A').sum()
Out[88]:
CD
A
bar -2.802588 2.42611
foo 3.146492 -0.63958
2、 通過多個列進行分組形成一個層次索引，然后執行函數:
In [89]: df.groupby(['A','B']).sum()Out[89]:
CD
AB
bar one -1.814470 2.395985
three -0.595447 0.166599
two -0.392670 -0.136473
foo one -1.195665 -0.616981
three 1.928123 -1.623033
two 2.414034 1.600434
Reshaping
Stack
In [90]:
....:
....:
....:
....:
In [91]:
In [92]:
tuples = list(zip(*[['bar', 'bar', 'baz', 'baz','foo', 'foo', 'qux', 'qux'],
['one', 'two', 'one', 'two','one', 'two', 'one', 'two']]))
index = pd.MultiIndex.from_tuples(tuples, names=['first', 'second']) df = pd.DataFrame(np.random.randn(8, 2), index=index, columns=['A',
'B'])
In [93]: df2 = df[:4]
In [94]: df2
Out[94]:
AB
first second
bar one
two
baz one
two
0.029399 -0.542108
0.282696 -0.087302
-1.575170 1.771208
0.816482 1.100230
.
In [95]: stacked = df2.stack()In [96]: stacked
Out[96]:
first second bar one A
0.029399
B -0.542108
two A
B -0.087302
0.282696
baz one A
B 1.771208
-1.575170
two A
B 1.100230
dtype: float64
0.816482
In [97]: stacked.unstack()Out[97]:
AB
first second
bar one 0.029399 -0.542108
two 0.282696 -0.087302 baz one -1.575170 1.771208 two 0.816482 1.100230
In [98]: stacked.unstack(1)Out[98]:
second one two first
bar A 0.029399 0.282696
B -0.542108 -0.087302
baz A -1.575170 0.816482
B 1.771208 1.100230
In [99]: stacked.unstack(0)Out[99]:
first bar baz
second
one A 0.029399 -1.575170
B -0.542108 1.771208
two A 0.282696 0.816482
B -0.087302 1.100230
數據透視表
In [100]: df = pd.DataFrame({'A' : ['one', 'one', 'two', 'three'] * 3,.....: 'B' : ['A', 'B', 'C'] * 4,
- .....: 'C' : ['foo', 'foo', 'foo', 'bar', 'bar', 'bar']* 2,
- .....: 'D' : np.random.randn(12),
- .....: 'E' : np.random.randn(12)})
- .....:
- In [101]: df
- Out[101]:
- ABCDE
- 0 one A foo 1.418757 -0.179666
- 1 one B foo -1.879024 1.291836
2
3
4
5
6
7
8
9
10
11 three C bar 0.648740 1.167115
two C foo 0.536826 -0.009614 three A bar 1.006160 0.392149 one B bar -0.029716 0.264599 one C bar -1.146178 -0.057409 two A foo 0.100900 -1.425638 three B foo -1.035018 1.024098 one C foo 0.314665 -0.106062 one A bar -0.773723 1.824375 two B bar -1.170653 0.595974
可以從這個數據中輕松的生成數據透視表:
In [102]: pd.pivot_table(df, values='D', index=['A', 'B'], columns=['C'])Out[102]:
C bar foo
AB
one A -0.773723 1.418757 B -0.029716 -1.879024 C -1.146178 0.314665 three A 1.006160 NaN B NaN -1.035018 C 0.648740 NaN two A NaN 0.100900
B -1.170653 NaN
C NaN 0.536826
九、導入和保存數據
CSV
1、 寫入 csv 文件:
In [136]: df.to_csv('foo.csv')
2、 從 csv 文件中讀取:
In [137]: pd.read_csv('foo.csv')Out[137]:
Unnamed: 0
- 0 2000-01-01
- 1 2000-01-02
- 2 2000-01-03
- 3 2000-01-04
- 4 2000-01-05
- 5 2000-01-06
- 6 2000-01-07
.. ...
A
0.266457
-1.170732
-1.734933
-1.555121
0.578117
0.478344
1.235339
...
B
-0.399641
-0.345873
0.530468
1.452620
0.511371
0.449933
-0.091757
...
C
-0.219582
1.653061
2.060811
0.239859
0.103552
-0.741620
-1.543861
...
D
1.186860
-0.282953
-0.515536
-1.156896
-2.428202
-1.962409
-1.084753
...
993 2002-09-20 -10.628548 -9.153563 -7.883146 28.313940 994 2002-09-21 -10.390377 -8.727491 -6.399645 30.914107 995 2002-09-22 -8.985362 -8.485624 -4.669462 31.367740 996 2002-09-23 -9.558560 -8.781216 -4.499815 30.518439 997 2002-09-24 -9.902058 -9.340490 -4.386639 30.105593 998 2002-09-25 -10.216020 -9.480682 -3.933802 29.758560 999 2002-09-26 -11.856774 -10.671012 -3.216025 29.369368
[1000 rows x 5 columns]
HDF5
1、 寫入 HDF5 存儲:
In [138]: df.to_hdf('foo.h5','df')
2、 從 HDF5 存儲中讀取:
In [139]: pd.read_hdf('foo.h5','df')Out[139]:
ABCD 2000-01-01 0.266457 -0.399641 -0.219582 1.186860 2000-01-02 -1.170732 -0.345873 1.653061 -0.282953 2000-01-03 -1.734933 0.530468 2.060811 -0.515536 2000-01-04 -1.555121 1.452620 0.239859 -1.156896 2000-01-05 0.578117 0.511371 0.103552 -2.428202
2000-01-06 0.478344 2000-01-07 1.235339 ... ... 2002-09-20 -10.628548 2002-09-21 -10.390377 2002-09-22 -8.985362 2002-09-23 -9.558560 2002-09-24 -9.902058 2002-09-25 -10.216020 2002-09-26 -11.856774
0.449933
-0.091757
...
-9.153563
-8.727491
-8.485624
-8.781216
-9.340490
-9.480682
-10.671012
-0.741620
-1.543861
...
-7.883146
-6.399645
-4.669462
-4.499815
-4.386639
-3.933802
-3.216025
-1.962409
-1.084753
...
28.313940
30.914107
31.367740
30.518439
30.105593
29.758560
29.369368
[1000 rows x 4 columns]
Excel
1、 寫入 excel 文件:
In [140]: df.to_excel('foo.xlsx', sheet_name='Sheet1')
2、 從 excel 文件中讀取:
In [141]: pd.read_excel('foo.xlsx', 'Sheet1', index_col=None, na_values=['NA'])
Out[141]:
2000-01-01 0.266457 2000-01-02 -1.170732 2000-01-03 -1.734933 2000-01-04 -1.555121 2000-01-05 0.578117 2000-01-06 0.478344 2000-01-07 1.235339 ... ... 2002-09-20 -10.628548 2002-09-21 -10.390377 2002-09-22 -8.985362 2002-09-23 -9.558560 2002-09-24 -9.902058 2002-09-25 -10.216020 2002-09-26 -11.856774
-0.399641
-0.345873
0.530468
1.452620
0.511371
0.449933
-0.091757
...
-9.153563
-8.727491
-8.485624
-8.781216
-9.340490
-9.480682
-10.671012
-0.219582
1.653061
2.060811
0.239859
0.103552
-0.741620
-1.543861
...
-7.883146
-6.399645
-4.669462
-4.499815
-4.386639
-3.933802
-3.216025
1.186860
-0.282953
-0.515536
-1.156896
-2.428202
-1.962409
-1.084753
...
28.313940
30.914107
31.367740
30.518439
30.105593
29.758560
29.369368
ABCD
[1000 rows x 4 columns]
收起
2018-10-09 21:40:27
導入pandas
import pandas as pd
pd.read_csv 讀取csv文件
df = pd.read_csv('Titanic.csv') ‘Titanic.csv’文件
pd.read_csv 讀取xlsx文件
df _score = pd.read_execel('score.xlsx')
df_imdb = pd.read_csv('IMDB.csv')
df_imdb.columns
df_imdb[''Title] 電影名稱 = df_imdb.Title
df_imdb[''Title] 電影名稱 = df_imdb.Title
df_imdb['Title'].head(3) 前三個
df_imdb['Revenue(Millions)'].max()獲取最高票房
df_imdb['Revenue (Millions)'].idxmax()
df_imdb[50:51]
將DataFrame 第50行數據的Director列取出,取一到6的數據的時候不會吧6取出來
df_imdb[50:51]['Director']選出的導演
第一個維度是行，第二維度是列，將50到56行（包含50和56）的導演和年份取出來
df_imdb.loc[50:56,['Director','Year']]
df_imdb.iloc[1:10,2:3] 將1到10行（不包含第10行，及2到3列 不包含3列）取出，使用整數索引caozuo
df _imdb[df_imdb['Revenue (Millions)',]>100]['Director']將票房大於5億美元的電影選出來 支持
df[df['Genre'].str.contains('Thriller')].含有恐怖片的
收起
numpy、pandas實用總結(遍歷、重復值、缺失值、異常值、數據過濾、數據清洗)
2019-07-24 16:06:30
前言
- 最近工作中經常實用pandas，然而，卻發現自己對於pandas的掌握並沒有想象中的好，很多pandas的函數和用法，自己都不是特別的熟練，特此總結一下最近經常會使用的pandas用途和函數，增強記憶。
pandas用途之DataFrame遍歷
- 按照行對於DataFrame進行遍歷，得到每一行，然后對於行進行操作，取每一列的單個數據
- for index,row in df.iterrows():
- print(row['列名'],row['列名'])
- 如果需要得到每一行的每列的數據進行計算，則需要row[‘列名’].iloc[0]取出行中的單個元素
- 因為，單純的取出row[‘列名’]是Series類型，會帶有Series類型的一些索引等內容。
pandas用途之DataFrame數據查詢重復，去除重復
- DataFrame數據查詢和取出重復元素，都是根據df.duplicated來實現的
- 使用df.duplicated()來查詢重復值，返回布爾類型的值
- 參數：subset，設置判斷重復的時候，按照哪些列進行判斷。
- 可以使用列表的方式設置，subset = [“列a”,“列b”]
- 可以使用字符串的方式定義，subset = “列a”
- 參數：keep，設置判斷重復的時候，保留項
- keep = “first”, 保留第一項
- keep = “last”, 保留最后一項
- keep = False，一個都不保留