數據分析
生成器 迭代器 裝飾器 (兩層傳參) 單例模式() ios七層 io多路
數據分析：是把隱藏在一些看似雜亂無章的數據背后的信息提煉出來，總結出所研究對象的內在規律
pandas的拼接操作
- pandas的拼接分為兩種：
- 級聯：pd.concat, pd.append
- 合並：pd.merge, pd.join
使用pd.concat()級聯
pandas使用pd.concat函數，與np.concatenate函數類似，只是多了一些參數：
- objs
axis=0
join='outer' / 'inner':表示的是級聯的方式，outer會將所有的項進行級聯（忽略匹配和不匹配），而inner只會將匹配的項級聯到一起，不匹配的不級聯
ignore_index=False
import pandas as pd
from pandas import Series,DataFrame
import numpy as np
-
1)匹配級聯
# 創建數據料
df1 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=['a','b','c'],columns=['A','B','C'])
df2 = DataFrame(data=np.random.randint(0,100,size=(3,3)),index=['a','b','d'],columns=['A','B','D'])
# 顯示兩張表
display(df1,df2)
| A | B | C | |
|---|---|---|---|
| a | 67 | 93 | 7 |
| b | 84 | 67 | 70 |
| c | 85 | 93 | 7 |
| A | B | D | |
|---|---|---|---|
| a | 0 | 61 | 32 |
| b | 23 | 44 | 55 |
| d | 99 | 25 | 76 |
# 將兩張表連接在一起
pd.concat([df1,df1],axis=0,join='inner',ignore_index=True)
-
2) 不匹配級聯
-
不匹配指的是級聯的維度的索引不一致。例如縱向級聯時列索引不一致，橫向級聯時行索引不一致
有2種連接方式：
- 外連接：補NaN（默認模式）
- 內連接：只連接匹配的項
# 連接兩張不同的表
# 縱向連接 不匹配的 補空
pd.concat([df1,df2],axis=0)
# 縱向連接 內連接 只顯示可以比配到的 數據
pd.concat([df1,df2],axis=0,join='inner')
-
3) 使用df.append()函數添加
由於在后面級聯的使用非常普遍，因此有一個函數append專門用於在后面添加
df1.append(df2)
使用pd.merge()合並
-
merge與concat的區別在於，merge需要依據某一共同的列來進行合並
使用pd.merge()合並時，會自動根據兩者相同column名稱的那一列，作為key來進行合並。
注意每一列元素的順序不要求一致
參數：
-
how：out取並集 inner取交集
-
on：當有多列相同的時候，可以使用on來指定使用那一列進行合並，on的值為一個列表
-
-
1) 一對一合並
df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering'],
})
df2 = DataFrame({'employee':['Lisa','Bob','Jake'],
'hire_date':[2004,2008,2012],
})
# 數據合並
pd.merge(df1,df2)
```{'employee':['Lisa','Bob','Jake'],
'hire_date':[2004,2008,2012],
'group':['Accounting','Engineering','Engineering'],
} ```
-
2) 多對一合並
df3 = DataFrame({
'employee':['Lisa','Jake'],
'group':['Accounting','Engineering'],
'hire_date':[2004,2016]})
df4 = DataFrame({'group':['Accounting','Engineering','Engineering'],
'supervisor':['Carly','Guido','Steve']
})
# 合並
pd.merge(df3,df4)
{
'employee':['Lisa','Jake','Jake'],
'group':['Accounting','Engineering','Engineering'],
'hire_date':[2004,2016,2016],
'supervisor':['Carly','Guido','Steve']
}
-
3) 多對多合並
df1 = DataFrame({'employee':['Bob','Jake','Lisa'],
'group':['Accounting','Engineering','Engineering']})
df5 = DataFrame({'group':['Engineering','Engineering','HR'],
'supervisor':['Carly','Guido','Steve']
})
pd.merge(df1,df5,how='right') # how='right'/'lest' 以右 或 左 表的 內容為為准
-
加載excl數據:pd.read_excel('excl_path',sheetname=1)
pd.read_excel('data.xlsx',sheet_name=1) # sheet_name=1 指定讀取哪張表
-
4) key的規范化
-
當列沖突時，即有多個列名稱相同時，需要使用on=來指定哪一個列作為key，配合suffixes指定沖突列名
df1 = DataFrame({'employee':['Jack',"Summer","Steve"],
'group':['Accounting','Finance','Marketing']})
df2 = DataFrame({'employee':['Jack','Bob',"Jake"],
'hire_date':[2003,2009,2012],
'group':['Accounting','sell','ceo']})
# 指定那個字段來進行連接
pd.merge(df1,df2,on='group')
- 當兩張表沒有可進行連接的列時，可使用left_on和right_on手動指定merge中左右兩邊的哪一列列作為連接的列
df1 = DataFrame({'employee':['Bobs','Linda','Bill'],
'group':['Accounting','Product','Marketing'],
'hire_date':[1998,2017,2018]})
df5 = DataFrame({'name':['Lisa','Bobs','Bill'],
'hire_dates':[1998,2016,2007]})
pd.merge(df1,df5,left_on='employee',right_on='name')
- 自行練習多對一，多對多的情況
- 自學left_index,right_index
-
5) 內合並與外合並:out取並集 inner取交集
- 內合並：只保留兩者都有的key（默認模式）
df6 = DataFrame({'name':['Peter','Paul','Mary'],
'food':['fish','beans','bread']}
)
df7 = DataFrame({'name':['Mary','Joseph'],
'drink':['wine','beer']})
- 外合並 how='outer'：補NaN
df6 = DataFrame({'name':['Peter','Paul','Mary'],
'food':['fish','beans','bread']}
)
df7 = DataFrame({'name':['Mary','Joseph'],
'drink':['wine','beer']})
pandas 數據處理-5
1. 刪除重復元素
-
使用duplicated()函數檢測重復的行，返回元素為布爾類型的Series對象，每個元素對應一行，如果該行不是第一次出現，則元素為True
- keep參數：指定保留哪一重復的行數據
-
使用duplicated()
import numpy as np import pandas as pd from pandas import DataFrame #創建一個df df = DataFrame(data=np.random.randint(0,100,size=(10,6))) df.iloc[1] = [6,6,6,6,6,6] df.iloc[3] = [6,6,6,6,6,6] df.iloc[4] = [6,6,6,6,6,6] # 使用duplicated查看所有重復元素行 # 查找重復的行 first,last 保留第一個 或最后一個 df.duplicated(keep='first') # 使用 drop() 刪除 d_index = df.loc[df.duplicated(keep='first')].index df.drop(labels=d_index,axis=0) -
使用 drop_duplicates(keep='last')
# 使用drop_duplicates()函數刪除重復的行 df.drop_duplicates(keep='last')
2.映射
1) replace()函數：替換元素
-
使用replace()函數，對values進行映射操作
Series替換操作
- 單值替換
- 普通替換
- 字典替換(推薦）
- 多值替換
- 列表替換
- 字典替換（推薦）
- 參數
- to_replace:被替換的元素
replace參數說明：
-
method：對指定的值使用相鄰的值填充替換
-
limit：設定填充次數
DataFrame替換操作
- 單值替換
- 普通替換： 替換所有符合要求的元素:to_replace=15,value='e'
- 按列指定單值替換： to_replace={列標簽：替換值} value='value'
- 多值替換
- 列表替換: to_replace=[] value=[]
- 字典替換（推薦） to_replace={to_replace:value,to_replace:value}
# 將數據中 所有的 6 替換為 333 df.replace(to_replace=6,value=333) # 將數據中的 6, 9 替換為 333 df.replace(to_replace=[6,9],value=333) # 將數據中的 0 替換為 zero df.replace(to_replace={0:'zero'}) # 指定列 替換 第 9 列的 3 替換為 666 df.replace(to_replace={9:3},value=666)注意：DataFrame中，無法使用method和limit參數
- 單值替換
2) map()函數：映射
新建一列 ， map函數並不是df的方法，而是series的方法
-
map() 可以映射新一列數據
-
map() 中可以使用lambd表達式
-
map() 中可以使用方法，可以是自定義的方法
eg:map({to_replace:value})
-
注意 map()中不能使用sum之類的函數，for循環
-
新增一列：給df中，添加一列，該列的值為英文名對應的中文名
# 數據 dic = { 'name':['Jay','Tom','Jay'], 'salary':[7777,6666,7777] } df = DataFrame(data=dic) #指定一個映射關系表 dic = { 'Jay':'張三', 'Tom':'李四' } df['c_name'] = df['name'].map(dic)map當做一種運算工具，至於執行何種運算，是由map函數的參數決定的（參數：lambda，函數）
- 使用自定義函數
#超過3000部分的錢繳納50%的稅 def after_sal(s): if s <= 3000: return s else: return s - (s-3000)*0.5 df['after_sal'] = df['salary'].map(after_sal)注意：並不是任何形式的函數都可以作為map的參數。只有當一個函數具有一個參數且有返回值，那么該函數才可以作為map的參數
3.使用聚合操作
-
使用聚合操作 對數據異常值檢測和過濾
使用df.std()函數可以求得DataFrame對象每一列的標准差
- 創建一個1000行3列的df 范圍（0-1），求其每一列的標准差
df = DataFrame(np.random.random(size=(1000,3)),columns=['A','B','C']) df# 對df應用篩選條件,去除標准差太大的數據:假設過濾條件為 C列數據大於兩倍的C列標准差 # 獲取 C 列數據標准差 c_st = df['C'].std() # 獲取所有 大於 C 列數據 兩倍的標准差的 數據 indexs = df.loc[df['C'] > c_st * 2].index # 刪除操作 df.drop(labels=indexs,axis=0)
4. 排序
-
使用.take()函數排序
- take()函數接受一個索引列表，用數字表示,使得df根據列表中索引的順序進行排序
- eg:df.take([1,3,4,2,5])
np.random.permutation(x)可以生成x個從0-(x-1)的隨機數列
# 普通 排列 指定 隱式索引 對 A B C 排列 df.take([2,0,1],axis=1)-
隨機抽樣
當DataFrame規模足夠大時，直接使用np.random.permutation(x)函數，就配合take()函數實現隨機抽樣
df_ = df.take(np.random.permutation(1000),axis=0).take(np.random.permutation(3),axis=1) df_[0:100]
5. 數據分類處理【重點】
-
數據聚合是數據處理的最后一步，通常是要使每一個數組生成一個單一的數值。
數據分類處理：
- 分組：先把數據分為幾組
- 用函數處理：為不同組的數據應用不同的函數以轉換數據
- 合並：把不同組得到的結果合並起來
數據分類處理的核心：
- groupby()函數
- groups屬性查看分組情況
- eg: df.groupby(by='item').groups
1) 分組 groupby()
-
使用groupby實現分組
# 數據
from pandas import DataFrame,Series
df = DataFrame({'item':['Apple','Banana','Orange','Banana','Orange','Apple'],
'price':[4,3,3,2.5,4,2],
'color':['red','yellow','yellow','green','green','green'],
'weight':[12,20,50,30,20,44]})
# 分組
df.groupby(by='item',axis=0)
-
使用groups查看分組情況
#該函數可以進行數據的分組，但是不顯示分組情況
df.groupby(by='item',axis=0).groups
-
分組后的聚合操作：分組后的成員中可以被進行運算的值會進行運算，不能被運算的值不進行運算
-
平均值 mean()
#給df創建一個新列，內容為各個水果的平均價格
# df.groupby(by='item').mean()
# df.groupby(by='item').mean()['price']
mean_price_s = df.groupby(by='item')['price'].mean()
dic = mean_price_s.to_dict()
# 使用映射添加到原表中
df['mean_price'] = df['item'].map(dic)
# 計算出蘋果的平均價格
df.groupby(by='item')['price'].mean()['Apple']
6. 高級數據聚合
-
使用groupby分組后，也可以使用transform和apply提供自定義函數實現更多的運算
- df.groupby('item')['price'].sum() <==> df.groupby('item')['price'].apply(sum)
- transform和apply都會進行運算，在transform或者apply中傳入函數即可
- transform和apply也可以傳入一個lambda表達式
def fun(s):
sum = 0
for i in s:
sum+=i
return sum/s.size
#使用apply函數求出水果的平均價格
# 不顯示重復行
df.groupby(by='item')['price'].apply(fun)
#使用transform函數求出水果的平均價格
# 顯示出每行的 平均值
df.groupby(by='item')['price'].transform(fun)