Python常用庫之二：Pandas

Pandas是用於數據操縱和分析，建立在Numpy之上的。Pandas為Python帶來了兩種新的數據結構：Pandas Series和Pandas DataFrame，借助這兩種數據結構，我們能夠輕松直觀地處理帶標簽數據和關系數據。

Pandas功能：

• 允許為行和列設定標簽
• 可以針對時間序列數據計算滾動統計學指標
• 輕松處理NaN值
• 能夠將不同的數據集合並在一起
• 與Numpy和Matplotlib集成

Pandas Series

Pandas series 是像數組一樣的一維對象，可以存儲很多類型的數據。Pandas series 和 Numpy array之間的主要區別之一是你可以為Pandas series 中的每個元素分配索引標簽；另一個區別是Pandas series 可以同時存儲不同類型的數據。

創建 Pandas Series

pd.Series(data, index)

 

groceries = pd.Series(data=[30, 6, 'yes', 'No'], index=['eggs', 'apples', 'milk', 'bread'])
ser = pd.Series(data=[[0, 1, 2, 3], [1, 3, 5, 7], [2, 4, 6, 8]], index=(['a', 'b', 'c']))

 

查看 Pandas Series 屬性

# Pandas Series 元素數量
print(groceries.size)
# Pandas Series 形狀
print(groceries.shape)
# Pandas Series 維度
print(groceries.ndim)
# Pandas Series 索引列表
print(groceries.index)
# Pandas Series 元素列表
print(groceries.values)

查看是否存在某個索引標簽：in

print('book' in groceries)

 訪問 Pandas Series 中元素

Pandas Series 提供了兩個屬性 .loc 和 .iloc

.loc 表明我們使用的是標簽索引訪問

.iloc 表明我們使用的是數字索引訪問

# 標簽索引
print(groceries['eggs'])
print(groceries[['eggs', 'milk']])
# 數字索引
print(groceries[1])
print(groceries[[1, 2]])
print(groceries[-1])
# 明確標簽索引
print(groceries.loc['milk'])
print(groceries.loc[['eggs', 'apples']])
# 明確數字索引
print(groceries.iloc[0])
print(groceries.iloc[[0, 1]])

修改和刪除 Pandas Series 中元素

直接標簽訪問，值修改就可

groceries['eggs'] = 2
print(groceries)

刪除：drop(參數 1：lable，標簽；參數 2：inplace=True/False，是/否修改原 Series)

print(ser.drop(['b']))
print(ser.drop(['a', 'b'], inplace=True))

Pandas Series 中元素執行算術運算

Pandas Series執行元素級算術運算：加、減、乘、除

fruits = pd.Series(data=[10, 6, 3], index=['apples', 'oranges', 'bananas'])
# 所有數字進行運算
print(fruits + 2)
print(fruits - 2)
print(fruits * 2)
print(fruits / 2)
# 所有元素應用Numpy中的數學函數
print(np.exp(fruits))
print(np.sqrt(fruits))
print(np.power(fruits, 2))
# 部分元素進行運算
print(fruits[0] - 2)
print(fruits['apples'] + 2)
print(fruits.loc['oranges'] * 2)
print(np.power(fruits.iloc[0], 2))

 Pandas DataFrame

Pandas DataFrame 是具有帶標簽的行和列的二維數據結構，可以存儲多種類型的數據，類似於電子表格。

創建 Pandas DataFrame

第一步：創建 Pandas Series 字典

第二步：將字典傳遞給 pd.DataFrame

items = {'Bob': pd.Series(data=[245, 25, 55], index=['bike', 'pants', 'watch']),
         'Alice': pd.Series(data=[40, 110, 500, 45], index=['book', 'glasses', 'bike', 'pants'])}
shopping_carts = pd.DataFrame(items)
print(shopping_carts)

通過關鍵字 columns 和 index 選擇要將哪些數據放入 DataFrame 中

shopping_cart = pd.DataFrame(items, index=['bike', 'pants'], columns=['Bob'])
print(shopping_cart)

 訪問、添加、刪除 DataFrame

訪問整列：dataframe[['column1', 'column2']]

# 讀取列
print(shopping_carts[['Bob', 'Alice']])

訪問整行：dataframe.loc[['row1', 'row2']]

# 讀取行
print(shopping_carts.loc[['bike']])

訪問某行某列：dataframe['column']['row']，先提供行標簽，將出錯。

# 讀取某一列某一行
print(shopping_carts['Bob']['bike'])

添加整列（末尾添加列），空值用 None

# 添加列
shopping_carts['Mike'] = [10, 30, 10, 90, None]

添加整行（末尾添加行），把新添加行創建為 dataframe，通過 append() 添加

# 添加行
new_items = [{'Alice': 30, 'Bob': 20,  'Mark': 35, 'Mike': 50}]
new_store = pd.DataFrame(new_items, index=['store3'])
shopping_carts = shopping_carts.append(new_store)

只能刪除整列：pop('lable')

# 刪除整列
shopping_carts.pop('Jey')

刪除行或者列：drop(['lable1', 'lable2'], axis=0/1)　　0表示行，1表示列

# 刪除行
shopping_carts = shopping_carts.drop(['store3', 'watch'], axis=0)

更改行和列標簽

rename()

# 更改列標簽
shopping_carts = shopping_carts.rename(columns={'Bob': 'Jey'})
# 更改行標簽
shopping_carts = shopping_carts.rename(index={'bike': 'hats'})

處理 NaN

統計 NaN 數量：isnull().sum().sum

# 數值轉化為 True 或者 False
print(store_items.isnull())
# 每一列的 NaN 的數量
print(store_items.isnull().sum())
# NaN 總數
print(store_items.isnull().sum().sum())

統計非 NaN 數量：count(axis=0/1)

# 每一行非 NaN 的數量，通過列統計
print(store_items.count(axis=1))
# 每一列非 NaN 的數量，通過行統計
print(store_items.count(axis=0))

刪除具有NaN值的行和列：dropna(axis=0/1, inplace=True/False)　　inplace默認False，原始DataFrame不會改變；inplace為True，在原始DataFrame刪除行或者列

# 刪除包含NaN值的任何行
store_items.dropna(axis=0)
# 刪除包含NaN值的任何列
store_items.dropna(axis=1, inplace=True)

將 NaN 替換合適的值：fillna()

# 將所有 NaN 替換為 0
store_items.fillna(value=0)
# 前向填充：將 NaN 值替換為 DataFrame 中的上個值，axis決定列或行中的上個值
store_items.fillna(method='ffill', axis=1)
# 后向填充：將 NaN 值替換為 DataFrame 中的下個值，axis決定列或行中的下個值
store_items.fillna(method='backfill', axis=0)

 加載數據

csv 格式文件，每一行都是用逗號隔開：read_csv()

# 讀取 csv 文件，第一行作為列標簽
data = pd.read_csv('data.csv')
print(data)
print(data.shape)
print(type(data))

讀取前 N 行數據：head(N)

# 讀取頭 3 行數據
print(data.head(3))

讀取最后 N 行數據：tail(N)

# 讀取后 5 行數據
print(data.tail(5))

檢查是否有任何列包含 NaN 值：isnull().any()　　類型 bool

# 檢查任何列是否有 NaN 值，返回值：bool
print(data.isnull().any())

數據集的統計信息：describe()

# 獲取 DataFrame 每列的統計信息：count，mean，std，min，25%，50%，75%，max
# 25%：四分之一位數；50%：中位數；75%：四分之三位數
print(data.describe())
# 通過統計學函數查看某個統計信息
print(data.max())
print(data.median())

數據相關性：不同列的數據是否有關聯，1 表明關聯性很高，0 表明數據不相關。corr()

# 數據相關性
print(data.corr())

數據分組：groupby(['lable1', 'lable2'])

# 按年份分組，統計總薪資
data.groupby(['Year'])['Salary'].sum()
# 按年份分組，統計平均薪資
data.groupby(['Year'])['Salary'].mean()
# 按年份，部門分組，統計總薪資
data.groupby(['Year', 'Department'])['Salary'].sum()