[數據清洗]- Pandas 清洗“臟”數據（二）

概要

• 了解數據
• 分析數據問題
• 清洗數據
• 整合代碼

了解數據

在處理任何數據之前，我們的第一任務是理解數據以及數據是干什么用的。我們嘗試去理解數據的列/行、記錄、數據格式、語義錯誤、缺失的條目以及錯誤的格式，這樣我們就可以大概了解數據分析之前要做哪些“清理”工作。

本次我們需要一個 patient_heart_rate.csv （鏈接：https://pan.baidu.com/s/1geX8oYf 密碼：odj0）的數據文件，這個數據很小，可以讓我們一目了然。這個數據是 csv 格式。數據是描述不同個體在不同時間的心跳情況。數據的列信息包括人的年齡、體重、性別和不同時間的心率。

import pandas as pd
df = pd.read_csv('../data/patient_heart_rate.csv')
df.head()

 

 

分析數據問題

1. 沒有列頭
2. 一個列有多個參數
3. 列數據的單位不統一
4. 缺失值
5. 空行
6. 重復數據
7. 非 ASCII 字符
8. 有些列頭應該是數據，而不應該是列名參數

清洗數據

下面我們就針對上面的問題一一擊破。

1. 沒有列頭

如果我們拿到的數據像上面的數據一樣沒有列頭，Pandas 在讀取 csv 提供了自定義列頭的參數。下面我們就通過手動設置列頭參數來讀取 csv，代碼如下：

import pandas as pd
# 增加列頭
column_names= ['id', 'name', 'age', 'weight','m0006','m0612','m1218','f0006','f0612','f1218']
df = pd.read_csv('../data/patient_heart_rate.csv', names = column_names)
df.head()

上面的結果展示了我們自定義的列頭。我們只是在這次讀取 csv 的時候，多了傳了一個參數 names = column_names，這個就是告訴 Pandas 使用我們提供的列頭。

 

2. 一個列有多個參數

在數據中不難發現，Name 列包含了兩個參數 Firtname 和 Lastname。為了達到數據整潔目的，我們決定將 name 列拆分成 Firstname 和 Lastname

從技術角度，我們可以使用 split 方法，完成拆分工作。

我們使用 str.split(expand=True),將列表拆成新的列，再將原來的 Name 列刪除

# 切分名字，刪除源數據列
df[['first_name','last_name']] = df['name'].str.split(expand=True)
df.drop('name', axis=1, inplace=True)

上面就是執行執行代碼之后的結果。

 

 3. 列數據的單位不統一

如果仔細觀察數據集可以發現 Weight 列的單位不統一。有的單位是 kgs，有的單位是 lbs

# 獲取 weight 數據列中單位為 lbs 的數據
rows_with_lbs = df['weight'].str.contains('lbs').fillna(False)
df[rows_with_lbs]

為了解決這個問題，將單位統一，我們將單位是 lbs 的數據轉換成 kgs。

# 將 lbs 的數據轉換為 kgs 數據

for i,lbs_row in df[rows_with_lbs].iterrows():
weight = int(float(lbs_row['weight'][:-3])/2.2)
df.at[i,'weight'] = '{}kgs'.format(weight) 

 

4. 缺失值

在數據集中有些年齡、體重、心率是缺失的。我們又遇到了數據清洗最常見的問題——數據缺失。一般是因為沒有收集到這些信息。我們可以咨詢行業專家的意見。典型的處理缺失數據的方法：

• 刪：刪除數據缺失的記錄（數據清洗- Pandas 清洗“臟”數據（一）/[數據清洗]-Pandas 清洗“臟”數據（一））
• 贗品：使用合法的初始值替換，數值類型可以使用 0，字符串可以使用空字符串“”
• 均值：使用當前列的均值
• 高頻：使用當前列出現頻率最高的數據
• 源頭優化：如果能夠和數據收集團隊進行溝通，就共同排查問題，尋找解決方案。

 

5. 空行

仔細對比會發現我們的數據中一行空行，除了 index 之外，全部的值都是 NaN。

Pandas 的 read_csv() 並沒有可選參數來忽略空行，這樣，我們就需要在數據被讀入之后再使用 dropna() 進行處理，刪除空行.

# 刪除全空的行
df.dropna(how='all',inplace=True) 

 

6. 重復數據

有的時候數據集中會有一些重復的數據。在我們的數據集中也添加了重復的數據。

首先我們校驗一下是否存在重復記錄。如果存在重復記錄，就使用 Pandas 提供的 drop_duplicates() 來刪除重復數據。

# 刪除重復數據行
df.drop_duplicates(['first_name','last_name'],inplace=True)

 

7. 非 ASCII 字符

在數據集中 Fristname 和 Lastname 有一些非 ASCII 的字符。

處理非 ASCII 數據方式有多種

• 刪除
• 替換
• 僅僅提示一下

我們使用刪除的方式：

# 刪除非 ASCII 字符
df['first_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)
df['last_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)

8. 有些列頭應該是數據，而不應該是列名參數

有一些列頭是有性別和時間范圍組成的，這些數據有可能是在處理收集的過程中進行了行列轉換，或者收集器的固定命名規則。這些值應該被分解為性別（m,f），小時單位的時間范圍（00-06，06-12，12-18）

# 切分 sex_hour 列為 sex 列和 hour 列
sorted_columns = ['id','age','weight','first_name','last_name']
df = pd.melt(df,
id_vars=sorted_columns,var_name='sex_hour',value_name='puls_rate').sort_values(sorted_columns)
df[['sex','hour']] = df['sex_hour'].apply(lambda x:pd.Series(([x[:1],'{}-{}'.format(x[1:3],x[3:])])))[[0,1]]
df.drop('sex_hour', axis=1, inplace=True)
​
# 刪除沒有心率的數據
row_with_dashes = df['puls_rate'].str.contains('-').fillna(False)
df.drop(df[row_with_dashes].index,
inplace=True)

 整合代碼

import pandas as pd
# 增加列頭
column_names= ['id', 'name', 'age', 'weight','m0006','m0612','m1218','f0006','f0612','f1218']
df = pd.read_csv('../data/patient_heart_rate.csv', names = column_names)
​
# 切分名字，刪除源數據列
df[['first_name','last_name']] = df['name'].str.split(expand=True)
df.drop('name', axis=1, inplace=True)
​
# 獲取 weight 數據列中單位為 lbs 的數據
rows_with_lbs = df['weight'].str.contains('lbs').fillna(False)
df[rows_with_lbs]
​
# 將 lbs 的數據轉換為 kgs 數據
for i,lbs_row in df[rows_with_lbs].iterrows():
weight = int(float(lbs_row['weight'][:-3])/2.2)
df.at[i,'weight'] = '{}kgs'.format(weight)
 
# 刪除全空的行
df.dropna(how='all',inplace=True)
​
# 刪除重復數據行
df.drop_duplicates(['first_name','last_name'],inplace=True)
​
# 刪除非 ASCII 字符
df['first_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)
df['last_name'].replace({r'[^\x00-\x7F]+':''}, regex=True, inplace=True)
​
# 切分 sex_hour 列為 sex 列和 hour 列
sorted_columns = ['id','age','weight','first_name','last_name']
df = pd.melt(df,
id_vars=sorted_columns,var_name='sex_hour',value_name='puls_rate').sort_values(sorted_columns)
df[['sex','hour']] = df['sex_hour'].apply(lambda x:pd.Series(([x[:1],'{}-{}'.format(x[1:3],x[3:])])))[[0,1]]
df.drop('sex_hour', axis=1, inplace=True)
​
# 刪除沒有心率的數據
row_with_dashes = df['puls_rate'].str.contains('-').fillna(False)
df.drop(df[row_with_dashes].index,
inplace=True)
​
# 重置索引，不做也沒關系，主要是為了看着美觀一點
df = df.reset_index(drop=True)
print(df)

 

還有一些問題在本例中沒有提及內容，下面有兩個比較重要，也比較通用的問題：

• 日期的處理
• 字符編碼的問題

本次又介紹了一些關於 Pandas 清洗數據的技能。至少用這幾次介紹的處理方法，應該可以對數據做很多清洗工作。

更多關於數據清洗的內容可以關注知乎上的專欄“數據清洗”

 知乎數據清洗- Pandas 清洗“臟”數據（二）